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创新 。 我 们 提出 的 软件 定义 数据 中 心理 念 ， 致 力 于 帮助 客户 改变 传统 建立 、 交 付 和 消费 的 上 资源 方式 ， 现 已 被 业内 和 全 球 上 干 万 
用 尸 所 接受 。 软 件 定 义 数据 中 心包 括 了 软件 定义 计算 、 软 件 定 义 存 储 、 软 件 定义 网 络 和 安全 虚拟 化 ， 再 加 上 云 计算 管理 平台 ， 从 
而 构成 整个 软件 定义 数据 中 心 的 基础 架构 。 


作为 VMware 软件 定义 数据 中 心 整体 战略 的 关键 一 环 ， 软 件 定 义 存 储 一 直 是 VMware 的 创新 重点 之 一 。VMware Virtual 
SAN 是 VMware 推 出 的 具有 跨 时 代 意 义 的 丰 覆 性 软件 定义 存储 产品 。Virtual SAN 是 基于 x86 服 务 器 端 存储 的 共享 分 布 式 对 象 存 
储 系统 ， 其 整体 染 构 决定 了 这 一 解决 方案 无 论 从 性 能 、 可 靠 性 ， 还 是 从 扩展 能 力 、 匈 余 等 ， 相 对 于 传统 的 集中 存储 而 言 ， 都 有 着 
巨大 的 优势 。 特 别 是 在 传统 集中 存储 面临 单 点 故障 和 高 性 能 存储 性 能 输出 难以 解决 等 问题 时 ，Virtual SAN 这 类 超 融 合 存储 架构 
都 有 着 天 然 的 优势 。 


Virtual SAN 不 仅 是 一 款 独 立 的 超 融 合 存 储 架构 产品 ， 其 与 公司 旗下 的 数据 中 心 和 云 计 算 基 础 染 构 产品 vSphere、 网 络 虚 拟 
化 平台 NSX、 云 计算 管理 平台 vRealize、 果 面 虚拟 化 平台 Horizon 等 产品 高 度 集成 ， 通 过 统一 的 管理 界面 向 用 户 提 供 无 颖 、 易 于 
管理 的 整体 数据 中 心 解决 方案 。 


在 历经 三 个 主 版 本 的 迭代 后 ，Virtual SAN 从 第 一 代 版 本 5.5 只 支持 基本 的 存储 虚拟 化 功能 演化 到 第 四 代 版 本 6.2 支 持 全 闪 
存 、 各 类 定制 的 新 特性 ， 可 以 完美 支撑 VDI、Oracle、SQL Server 以 及 Exchange 等 关键 应 用 平台 。 截 至 2016 年 第 一 季 
, Virtual SAN 在 超 融 合 存储 架构 市 场 已 经 占有 最 大 份额 ， 成 为 软件 定义 存储 专业 市 场 的 领跑 者 。 
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fz& Virtual SAN 研 发 团队 中 ，VMware 中 国 研 发 团队 占据 了 30% 的 人 员 比 例 ， 代 表 VMware 中 国 研 发 中 心 在 Virtual SAN 
项 目 开 发 及 亚太 、 中 国 地 区 客户 支持 中 做 出 了 卓越 的 贡献 。 


Virtual SAN 中 国 COE (Center of Excellence) 团队 立足 VMware 中 国 研 发 中 心 ， 主 要 负责 Virtual SAN 产 品 、 技 术 和 解决 
方案 在 中 国 地 区 的 市 场 推广 与 技术 支撑 任务 。 本 书 是 VMware 存 储 及 可 用 性 事业 部 解决 方案 团队 与 Virtual SAN 中 国 COE 的 心血 
和 结晶 ， 同 时 也 是 Virtual SAN 中 国 COE 结 合 中 国 市 场 推 广 产 品 战 略 本 地 化 的 重要 成 果 。Virtual SAN 解 决 方案 团队 在 存储 高 可 
用 性 、 关 键 企业 应 用 平台 解决 方案 的 设计 、 开 发 、 验 证 等 相关 工作 上 具有 丰富 的 项 目 经 验 ， 致 力 于 提供 Virtual SAN 的 各 项 解决 
方案 与 最 佳 实践 。 非 常 高 兴 看 到 VMware 中 国 研发 中 心 的 本 土 团 队 可 以 把 VMware 自 身 的 产品 和 技术 贯彻 落地 于 中 国 市 场 。 
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现在 哪 块 |T 市 场 增 长 最 快 ? 超 融合 染 构 市 场 必 属 其 一 。 起 融合 架构 市 场 中 哪个 技术 最 有 前 景 ， 当 然 是 VMware 的 Virtual 
SAN (VSAN) 技术 。 而 本 书 正 是 一 本 全 方位 介绍 这 项 最 新 技术 产品 和 应 用 市 场 的 好 书 。 


从 整个 IT 市 场 前 景 看 ， 在 IDC 的 最 新 报告 中 ， 到 2020 年 ， 全 球 将 有 70 亿 人 和 300 亿 个 设备 与 互联 网 相连 接 。 这 和 2015 年 的 数 


据 相 比 ， 分 别 增长 了 3 倍 和 6 倍 。 随 着 人 、 商 、 物 之 间 友 生 越 来 越 多 的 沟通 和 交易 ， 数 字 爆 炸 的 时 代 已 经 来 临 ， 而 这 必然 产生 许 
多 新 的 需求 ， 对 许多 行业 、 商 业 模 式 提 出 颠 履 性 的 变革 要 求 。 在 这 个 第 二 平台 到 第 三 平台 转型 的 滔 潮 中 ， 实 现 现代 化 数据 中 心 是 
转型 的 必由之路 。 通 过 最 新 的 市 场 分 析 、 客 户 调 研 和 拉 术 创新 ， 我 们 认为 实现 现代 化 的 数据 中 心 需要 五 大 支柱 的 支撑 ， 那 束 是 以 
可 信 可 靠 为 数据 中 心 的 根本 ， 通 过 全 闪存 、 云 架构 、 横 向 扩展 、 软 件 定义 拷 术 ， 才 能 帮助 客户 实现 数据 中 心 敏捷 性 、 遍 效能 和 高 
速度 三 大 需求 。VSAN 产 品 正 是 针对 这 尝 需 求 应 运 而 生 的 弄潮儿 。 


从 技术 层面 看 ， 现 在 在 业界 ， 无 论 是 软件 定义 存储 (Software Defined Storage, SDS) 还 是 超 融 合 以 构 (Hyper 
Converged Infrastructure, HCl) 等 词汇 都 是 炙手可热 。 事 实 上 ，SDS 还 没有 一 个 公认 的 定义 ， 各 家 厂商 和 不 同 的 技术 都 有 不 
同 的 解读 和 实践 方式 。EMC、VMware 早 在 2012 年 就 提出 了 软件 定义 数据 中 心 的 概念 ， 详 细 地 构建 了 软件 定义 计算 、 存 储 、 网 
络 、 管 理 和 安全 的 完整 架构 。 经 过 多 年 的 积淀 ，VMware VSAN 正 是 这 份 针 对 市 场 和 技术 发 展 趋势 交 出 的 答卷 中 闪 亮 的 一 张 。 
原生 于 VMware 旗舰 产品 vSphere， 使 它 能 够 向 企业 用 户 提供 所 要 求 的 优质 超 融合 以 构 以 及 架构 内 超级 简单 统一 的 一 站 式 党 理 ， 
而 且 提 供 更 专业 的 可 视 和 管理 能 力 ， 包 括 参 数 和 使 用 量 的 监测 ， 从 而 提供 一 整套 具备 企业 级 的 高 性 能 存储。 而 从 市 场 反 馈 看 也 恰 
恰 支 持 了 这 样 的 高 性 价 比 的 设计 ， 超 融合 架构 不 仅仅 在 中 小 企业 或 者 ROBO (Remote Office and Branch Office) 环境 大 有 用 
武之 地 ， 越 来 越 多 的 大 企业 也 在 基础 架构 整合 、 服 务 器 虚拟 化 、VDI 等 领域 考虑 并 部 署 VMware VSAN 的 解决 方案 。 所 以 本 书 适 
合 的 读者 范围 也 是 相当 广泛 的 。 


另外 ， 软 件 定 义 存 储 或 是 超 融 合 染 构 ， 要 被 用 尸 消 费 、 交 付 和 技术 支持 也 是 目前 公认 的 难题 。 在 这 方面 ,EMC、VMware 
也 不 遗 余力 地 进行 创新 ， 既 提供 了 VSAN 灵 活 方便 的 软件 配置 方式 ， 也 提供 了 VxRail 这 种 基于 VSAN 的 超 融 合 一 体 机 。 我 条 历 了 
VxRail 从 一 个 概念 验证 (Proof of Concept) 成 长 为 超 融 合 一 体 机 市 场 重要 一 员 的 过 程 。VSAN 和 VxRail 的 成 功 ， 从 近 术 上 验证 
了 我 们 对 于 现代 化 数据 中 心 的 理解 ， 也 展示 了 EMC 和 VMware 两 大 录 杀 公司 强 强 联 手 、 深 度 合 作 的 成 果 : 前 所 未 有 的 简便 、 性 
B6. 3 展 性 、 可 靠 性 ， 强 大 的 数据 服务 功能 和 一 站 式 服 务 。 


记得 十 几 年 前 刚 从 国内 大 学 毕业 的 时 候 ， 外 企 研 友 工作 是 理工 科 毕 业 生 的 首选 。 领 先 的 技术 、 优 厚 的 待遇 、 完 善 的 制度 、 对 
研发 的 重视 和 良好 的 文化 氛围 等 都 是 很 多 学 生 选 择 外 企 的 理由 。 而 近 些 年 来 ， 随 着 国内 企业 的 营 勃 友 展 并 不 断 加 大 对 研发 的 投 
入 ， 尤 其 是 互联 网 、 物 联网 、 云 和 大 数据 的 推动 ， 优 秀 理工 科学 生 束 业 的 选择 大 大 拓 吏 了。 作为 一 个 在 外 企 研发 盏 斗 多 年 的 |T 老 
兵 ， 不 仅仅 是 感叹 人 才 市 场 竞 争 的 激烈 ， 更 加 欣喜 于 这 样 一 个 百花 齐 放 的 局 面 。 对 于 目 己 的 公司 来 讽 ， 虽 然 短 期 内 础 到 一 些 招聘 
上 的 挑战 ， 但 从 长 远 看 ,高端 技术 和 管理 的 人 才 池 大 大 增加 ， 对 其 中 的 每 一 个 公司 都 是 受 荔 的 。 而 从 一 个 我 国 |T 人 的 角度 来 看 ， 
当然 希望 祖国 的 科研 水 平 不 断 增强 ， 有 更 多 的 世界 知名 果 T 企 业 的 IT 产 品 从 中 国 诞生 .。 


基于 这 些 原因 ， 我 们 一 直 致 力 于 以 一 种 开放 、 合 作 的 心态 来 推动 国内 IT 生态 环境 的 友 展 。 本 书 正 是 在 这 样 的 育 景 下 诞生 的 。 
它 是 由 一 群 苑 满 扑 情 的 VMware 中 国 研 友 中 心 的 工程 师 们 殷 写 的 。 我 也 有 笠 和 其 中 的 几 位 兄弟 姐妹 共事 过 ， 他 们 对 技术 的 热情 和 
RE S PREIS XA BRAVIA. 


最 后 ， 还 是 很 自豪 地 介绍 一 下 EMC 和 VMware 在 中 国 的 研发 中 心 。 两 家 卓越 研 友 集团 分 别 成 立 于 2006 年 和 2007 年 ， 在 北 
京 、 上 海 和 成 都 设 有 办 公 室 。 成 立 至 今 ， 中 国 卓越 研发 集团 已 成 为 EMC、VMware 领 先 的 产品 和 技术 的 创新 中 心 ， 也 是 影响 
EMC、VMware 全 球 海外 市 场 的 重要 增长 引擎。 无 论 是 VMware VSAN 还 是 EMC VxRail 技 术 产 品 ， 其 核心 的 开发 团队 都 已 落户 
中 国 ， 这 也 是 此 书 质量 深度 的 真正 保证 。 
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什么 是 软件 定义 存储 ? 业界 有 许多 不 同 的 定义 ， 但 最 简单 的 是 : 系统 可 以 将 所 有 存储 资源 池 化 并 通过 统一 的 管理 界面 进行 基 
Tia RnR A EE. 


为 什么 需要 软件 定义 存储 ? 随 着 全 球 数据 呈现 指数 级 增长 ， 各 个 企业 都 在 为 如 何 存 储 并 快速 访问 数据 而 烦恼 。 所 以 ， 存 储 作 
为 支柱 型 的 信息 技术 ， 正 受到 业界 的 重新 关注 并 经 历 令 人 激动 的 创新 。 在 大 数据 时 代 ， 最 关键 的 是 能 够 对 最 新 获取 的 数据 流 进 行 
实时 或 接近 实时 的 分 析 ， 从 而 为 有 价值 的 业务 提供 洞察 力 。 企 业 也 在 通过 大 数据 和 分 析 寻 求 为 客户 提供 更 好 的 用 户 体 验 ， 如 更 具 
前 瞻 性 和 预测 性 的 医疗 服务 及 更 有 具 个 性 化 的 金融 服务 。 但 是 如 果 数 据 被 存储 在 一 个 不 可 扩展 的 系统 上 ， 将 产生 “数据 孤岛 ”， 导 
致 系统 无 法 处 理 以 数据 为 中 心 的 工作 负载 。 以 Virtual SAN 为 代表 的 新 一 代 仓 储 技术 满足 了 这 种 需求 ， 其 采用 一 系列 软件 虚拟 化 
创新 ， 可 以 进行 各 种 可 预测 、 弹 性 上 且 无 中 断 的 线性 扩展 。 结 合 VMware 引 以 为 傲 的 vSphere 虚 拟 化 套件 ， 可 以 针对 数据 访问 模式 
进行 分 析 ， 目 动 将 数据 放 在 恰当 的 存储 层 中 ， 不 断 适 应 并 提高 性 能 。 以 VMware vSphere, Virtual SAN 和 VMware vCenter/ 
基础 的 超 融 合 软件 架构 驱动 了 市 场 上 最 为 丰富 的 超 融合 解决 方案 。 


为 什么 要 写 这 本 书 ? 随 着 Virtual SAN 产 品 的 不 断 成 熟 ， 越 来 越 多 的 客户 将 关键 业务 应 用 部 署 在 Virtual SAN 上 ， 事 实 上 ， 关 
键 业 务 应 用 从 Virtual SAN6.0 开 始 已 经 是 客户 群 中 排 第 一 的 用 户 案例 。 经 过 多 年 的 运营 ，VMware 存 储 及 可 用 性 事业 部 解决 方案 
团队 积累 了 丰富 的 用 户 案例 ， 帮 助 客户 解决 了 遇 到 的 各 种 问题 。 我 们 认为 这 部 分 宝贵 的 经 验 不 应 该 仅仅 掌握 在 少数 人 的 手中 ， 关 
望 读者 通过 阅读 本 书 可 以 对 如 何 设计 Virtual SAN 解 决 方案 有 所 收获 。 书 中 关于 Virtual SAN 排 错 的 部 分 充分 结合 现 有 VMware 排 
背 工具 ， 对 读者 如 何 使 用 排 错 工具 结合 自身 实际 遇 到 的 问题 进行 排 错 有 很 大 的 参考 价值 。 无 论 是 虚拟 化 管理 员 ， 还 是 系统 架构 
师 /咨询 顾问 ， 都 可 以 在 阅读 本 书后 有 所 收获 。 


VIMwate 存 储 及 可 用 性 事业 部 全 球 解 决 方案 和 技术 营销 总 监 


软件 定义 的 数据 中 心 通过 现 有 资源 和 应 用 程序 对 不 断 变 化 的 业务 需求 提供 支持 ， 从 而 实现 |T 灵 活性 。 简 单 来 说 ， 软 件 定义 数 
据 中 心意 味 着 大 幅 提 高 效率 并 降低 成 本 。 基 于 策略 的 配置 可 以 让 用 户 在 短 时 间 内 即 可 完成 应 用 调配 ， 交 付 工作 负载 ， 并 上 自动 调整 
俊 源 级 别 以 满足 不 断 变 化 的 业务 需求 。 同 时 ， 目 动 化 的 业务 连续 性 与 广 持 虚拟 化 的 安全 性 相 结合 ， 可 提供 昌 越 的 正 弟 运 行 时 间 和 
对 资源 访问 及 安置 的 无 可 比拟 的 控制 力 。 


作为 软件 定义 数据 中 心 的 关键 组 成 部 分 ， 软 件 定 义 存 储 的 核心 是 存储 虚拟 化 和 存储 策略 驱动 扩 术 。 软 件 定 义 的 存储 产品 是 一 
个 将 硬件 抽象 化 的 解决 方案 ， 它 使 用 户 可 以 轻松 地 将 所 有 资源 池 化 并 通过 一 个 友好 的 用 户 界 面 或 API 提 供给 消费 者 。 一 个 软件 定 
义 的 存储 的 解决 方案 使 得 用 户 在 不 增加 任何 工作 量 的 情况 下 进行 纵 同 扩展 (Scale-Up) 或 横生 扩展 (Scale-Out) 。 而 软件 定义 
存储 产品 也 面 对 着 新 需求 ， 即 如 何 提 高 |T 演 进 过 程 (物理 、 虚 拟 、 云 ) 数据 生命 周期 管理 效率 ， 简 化 遍 度 混合 环境 下 的 数据 保 
护 ， 以 及 容 灾 部 署 和 管理 流程 ， 实 现 资源 按 需 配置 ， 集 中 统一 管理 ， 等 等 。 


作为 软件 定义 存储 的 革命 性 产品 ，VMware Virtual SAN 是 分 布 式 、 可 容错 、 可 扩展 ， 针 对 虚拟 化 环境 优化 的 存储 系统 。 当 


By, Virtual SAN 正 在 迅速 推动 市 场 对 软件 定义 存储 解决 方案 的 接受 程度 。 将 传统 企业 IT 基 础 架构 中 独立 的 服务 器 管理 员 、 网 络 
管理 员 和 和 存储 管理 员 的 认 知 统一 到 集群 服务 器 管理 层面 上 来 。 这 样 一 来 ， 对 于 传统 基础 架构 中 的 高 度 集中 的 存储 单元 ， 以 及 高 度 
发 达 的 服务 器 单元 的 相关 需求 束 变 得 不 那么 重要 了 。 取 而 代 之 的 是 集群 管理 的 认 知 和 管理 需求 ， 以 及 应 对 复杂 生产 环境 变化 所 具 
备 的 经 验 和 智慧 。 


这 是 一 本 侧重 于 实际 应 用 的 书 。 我 们 将 Virtual SAN 的 配置 管理 、 设 计 、 排 错 ， 基 于 应 用 的 方案 设计 和 验证 ， 最 佳 实践 等 一 
一 呈现 给 读者 。 通 过 对 本 书 的 阅读 ， 我 们 希 翌 相关 IT 人 士 能 够 掌握 从 基本 的 配置 开始 ， 到 构建 局 弹性 ， 可 扩展 ， 具 有 备份 、 容 严 


功能 的 高 效 企业 业务 平台 。 
动画 大 师 沃 尔 特 - 迪 斯 尼 襄 过 ,一 切 都 从 一 只 老鼠 开始 。 而 我 们 的 软件 定义 数据 中 心 ， 是 从 一 从 X86 服务 器 开始 的 。 
武 晓 今 


VMware hf k F R RH I 


本 书 读者 对 象 


本 书 的 主要 读者 对 象 是 对 仓储 和 服务 器 虚拟 化 技术 有 一 定 了 解 ， 且 计划 设计 、 实 施 和 优化 Virtual SAN 解 决 方案 的 人 ， 也 适 
合 于 希望 对 软件 定义 存储 虚拟 化 解决 方案 、VMware vSphere 以 及 VMware Virtual SAN 产 品 有 深入 了 解 的 上 T 专 业 人 员 ， 同 时 也 
适用 于 正在 筹备 、 设 计 、 部 署 、 实 施 软件 定义 存储 虚拟 化 项 目 或 需要 对 其 进行 维护 的 IT 从 业 人 员 ， 本 书 可 作为 他 们 进行 软件 定义 
存储 虚拟 化 项 目 评估 与 设计 的 指导 。 


本 书 组 织 结构 


ABET Virtual SAN 设 计 部 署 、 官 理 与 排 错 以 及 最 佳 实践 案例 实施 ， 基 本 泣 六 了 Virtual SAN 在 项 目 设计 实施 与 后 期 运 维 
管理 过 程 中 所 涉及 的 各 种 关键 技术 ， 并 对 虚拟 化 行业 天 键 应 用 进行 深度 思考 与 剖析 ， 包 含 了 VMware 在 Virtual SAN 设 计 上 的 积 
票 和 沉淀 ， 其 中 精 选 的 最 佳 实 践 案例 覆盖 常见 的 行业 应 用 ， 有 了 明确 的 实施 方案 ， 对 读者 有 直接 的 指导 作用 。 读 者 可 以 从 头 到 尾 逐 
章 阅 读 ， 也 可 以 只 阅读 自己 感 兴趣 的 内 容 . 

本 书 分 为 五 大 部 分 ， 共 13 章 ， 其 中 各 部 分 主要 内 容 如 下 : 

第 一 部 分 Virtual SAN 基 础 


. 第 1 章 对 软件 定义 数据 中 心 、 软 件 定义 存储 进行 简单 介绍 ， 并 详细 阐述 了 VMware 的 软件 定义 数据 中 心 的 发 展 与 现状 ， 对 存 
储 虚 拟 化 的 兴起 做 了 介绍 。 


第 2 章 对 VMware Virtual SAN 存 储 虚 拟 化 解决 方案 、 基 本 架构 进行 了 介绍 ， 并 对 Virtual SAN 的 发 展现 状 以 及 版 本 新 功能 进行 
了 描述 。 在 本 章 最 后 ， 提 供 了 一 套 满 足 本 书 实践 操作 的 参考 软 硬 件 配 置 以 供 读者 学 习 参 考 。 


第 二 部 分 Virtual SAN 部 署 


第 3 章 重点 介绍 配置 Virtual SAN， 通 过 图 文 并 诚 的 形式 向 读者 呈现 VMware 官 方 推荐 的 部 署 方案 ， 具 体 包括 Vitrtual SAN 配 置 
要 求 、 配 置 Virtual SAN 网 络 、 配 置 Vittual SAN 人 集群、 添加 许可 证 、 创 建 磁盘 组 ， 并 且 重 点 介绍 了 版 本 6.1 引 入 的 延伸 集群 配置 。 在 


本 章 最 后 ， 提 供 了 通过 命令 行 创建 并 配置 Virtual SAN 的 参考 命令 。 


. 第 4 章 重 点 介绍 Vittual SAN 基 于 存储 策略 的 管理 ， 对 Vittual SAN 存 储 策 略 的 工作 原理 进行 了 简单 介绍 ， 并 就 如 何 对 虚拟 机 
配置 基于 管理 的 存储 策略 进行 了 详细 说 明 。 


第 三 部 分 Virtual SAN 管理 与 监控 


. 第 5 章 主要 介绍 Virtual SAN 上 日 常 运 维 管理 中 会 用 到 的 一 些 操作 配置 ， 以 及 对 Virtual SAN 数 据 存 储 的 管理 与 配置 。 在 本 章 最 


后 ， 对 如 何 将 现 有 老 版 本 Vittual SAN 升 级 到 新 版 本 以 及 如 何 删除 Vittual SAN 进 行 了 介绍 。 


- 第 6 章 详 细 介 绍 了 在 对 Vitual SAN 进 行 的 日 常 运 维 管理 中 ， 运 维 人 员 会 用 到 的 Vittual SAN 监 控 与 排 错 工具 。 为 第 8 章 针对 遇 


到 的 性 能 问题 ， 结 合 工 具 进 行 排 错 打 下 基础 。 
第 四 部 分 Virtual SAN 方 案 设计 与 排 错 
第 7 章 是 Virtual SANH, 主要 介绍 了 在 Virtual SAN 设 计 过 程 中 需要 考虑 的 注意 事项 。 


第 8 章 主要 介绍 了 Virtual SAN 遇 到 网 络 、 存 储 以 及 升级 问题 时 的 排 错 方法 。 


| 第 9 章 主要 介绍 用 于 超 融合 架构 的 自动 化 测试 工具 HCIbench 的 使 用 ， 并 给 出 性 能 测试 的 指导 原则 ， 以 便 测 试 人 员 在 实际 评 
估 测 试 时 可 以 最 大 限度 地 发 挥 Virttual SAN 的 性 能 。 


第 10 章 详细 阐述 了 Exchange Setvet 在 混合 架构 Vittual SAN 下 的 最 佳 实践 。 


BRIT SETEZO USE T SQL Server 在 混合 架构 Virtual SAN 下 的 最 佳 实践 ， 并 提供 了 SQL Server 在 全 闪存 架构 下 的 性 能 数据 和 设计 


II X 
Ed 意 事项 。 


- 第 12 章 详细 阐述 了 Oracle RAC 在 混合 架构 Virtual SAN 下 的 最 佳 实践 ， 并 提供 了 Oracle RAC 在 全 闪存 架构 下 的 性 能 数据 和 设 


计 注 意 事项 。 


第 13 章 详细 阐述 了 Horizon View 在 混合 架构 Virtual SAN 下 的 最 佳 实践 ， 并 提供 了 Horizon View 在 全 闪存 架构 下 的 性 能 数据 和 


设计 注意 事项 。 


天 于 作者 


本 书 作 者 为 Virtual SAN 解 决 方案 团队 (Product Enablement, PE) 中 国 研 发 中 心 的 主要 成 员 ，Virtual SAN 解 决 方案 团队 
主要 负责 Virtual SAN 与 各 种 行业 关键 应 用 平台 的 融合 。 通 过 设计 、 构 建 、 验 证 关键 应 用 在 Virtual SAN 超 融合 架构 下 各 种 场景 的 
性 能 表现 ， 针 对 产品 特性 进行 性 能 调 优 ， 并 以 参考 架构 一 日 皮 书 的 方式 向 客户 提供 使 用 Virtual SAN 的 最 佳 实践 。 以 下 是 团队 成 


员 的 个 人 介绍 : 


Ji (Nan Ding) ，VMware 解 决 方案 工程 师 ， 持 有 VCP-DCV/NV、RHCE 等 行业 认证 ， 先 后 从 事 高 性 能 服务 器 、 集 群 的 
性 能 测试 和 调 优 工作 。 目 前 主要 从 事 Virtual SAN 解 决 方案 与 软件 定义 数据 中 心 相 关 产 品 工具 的 研究 开发 工作 ， 专 业 领域 为 服务 
器 虚拟 化 、 存 储 虚 拟 化 、 网 络 虚 拟 化 等 。 


陈 实 (Victor Chen) ，VMware 解 决 方案 工程 师 ，2012 年 加 入 VMware， 先 后 从 事 Cloud Foundry, Virtual SAN 等 产品 
的 解决 方案 研究 开 友 工作 。 陈 实 拥有 复旦 大 学 计算 机 硕士 学 位 ， 并 拥有 VCP-DCV (Data Center Virtualization) 和 VCP- 
NV (Network Virtualization) 等 认证 ， 专 业 领 域 为 仓储 虚拟 化 、 网 络 虚 拟 化 、 软 件 定义 数据 中 心 等 。 


武 晓 今 (Tony Wu) ，VMware 解 决 方案 架构 师 ，2015 年 加 入 VMware。 目 前 主要 从 事 Virtual SAN 关 键 企 业 应 用 平台 的 解 
决 方案 设计 、 开 发 、 验 证 ， 以 及 PoC 等 相关 工作 。 专 业 领域 为 外 置 存 储 、 虚 拟 化 存储 的 企业 应 用 解决 方案 设计 、 调 优等 。 


徐 佳 莉 (Catherine Xu) ,VMware 资深 村 术 文档 作家 ， 主 要 从 事 Virtual SAN 在 关键 应 用 平台 的 解决 方案 日 应 书写 作 。 人 徐 
圭 刺 在 IT 技术 文档 写作 领域 具有 10 年 以 上 工作 经 验 ， 现 同时 担任 团队 项 目 管理 工作 ， 拥 有 PM P 项 目 管理 证 书 及 信息 仓储 和 管理 


(Information Storage and Management) 认证 。 


FiS (Sophie Yin) ，VMware 人 资深 解决 方案 工程 师 ， 在 存储 高 可 用 性 领域 具有 10 年 以 上 工作 经 验 。 拥 有 北京 大 学 计算 机 
硕士 学 位 ， 先 后 从 事 数 据 保护 、 高 可 用 性 集群 、 容 灾 恢 复 等 产品 和 解决 方案 的 研发 。 目 前 工作 重点 为 Virtual SAN 的 
VDI (Virtual Desktop Infrastructure) 解决 方案 设计 、 开 发 和 验证 。 


天 于 技术 审 校 人 员 


张 君 只 ，VMware 和 存储 部 门 资 深 产 品 经 理 ， 负 责 Virtual SAN 产 品 全 球 研发 端的 产品 管理 和 战略 规划 ， 同 时 负责 推进 亚太 地 
[x Virtual SAN 超 融合 体系 的 生态 系统 和 硬件 认证 管理 。 过 去 近 10 年 一 直 致 力 于 企业 级 软件 产品 的 核心 研发 和 产品 战略 ， 在 企业 
数据 中 心 、 存 储 以 及 云 计算 等 领域 有 丰富 的 经 验 和 洱 察 。 


郭 昭 辉 ，VMware 和 存储 研发 部 门 主任 工程 师 ， 拥 有 10 多 年 存储 开 友 经 验 ， 此 前 束 职 于 EMC， 从 事 中 端 存储 研发 工作 。 


Hei, VMware iäti, Virtual SAN 技 术 顾 问 ，《 软 件 定义 存储 : 原理 、 实 践 与 生态 》 的 作者 。 
致谢 


在 本 书写 作 的 过 程 中 ， 我 们 得 到 了 公司 领导 和 同事 的 大 力 支持 。 首 先 需 要 感谢 VMware 全 球 副 忌 裁 、 和 存储 和 可 用 性 思 经 理 李 
严 冰 博 士 ，EMC 中 国 卓 越 研 发 集团 上 海 公司 总 经 理 陈 春 曦 ，VMware 存 储 及 可 用 性 事业 部 全 球 解决 方案 和 技术 营销 总 监 何 卫 国 
为 本 书 作 序 。 此 外 ， 特 别 感谢 VMware 中 国 上 海 研 发 中 心 资深 经 理 林 才 学 和 经 理 谢 品 在 本 书写 作 的 过 程 中 给 予 的 大 力 支持 ， 没 有 
他 们 的 喜 励 和 帮助 ， 我 们 无 法 解决 本 书 在 出 版 过 程 中 遇 到 的 各 种 困难 。 同 时 ， 我 们 由 囊 感 谢 VMware 中 国 研 友 中 心 各 位 同事 的 细 
心 审 校 ， 特 别 是 Translation 团 队 的 Lina Wang, System Test 团 队 的 Dao Tao, Edward Xu, Michael Zhang, Qianyi 
Zheng, Biwen Li, Wei Shen 以 及 技术 审 校 的 各 位 同事 。 


最 后 ， 感 谢 解 决 方案 团队 的 各 位 ， 没 有 大 家 的 团结 合作 ， 本 书 将 无 法 与 广大 读者 见面 。 


第 一 部 分 Virtual SAN 基 础 


AGE 软件 定义 数据 中 心 与 软件 定义 存储 


第 2 章 Virtual SAN 存 储 应 拟 化 概览 


let ”软件 定义 数据 中 心 与 软件 定义 仓储 


本 章 从 介绍 软件 定义 数据 中 心 (Software-Defined Data Center, SDDC) 开始 ， 介 绍 了 SDDC 的 基本 模块 ， 层 次 细 分 ， 以 


及 VMware SDDC 的 发 展 与 现状 ,分 析 了 SDDC 的 优势 。 同 时 对 软件 定义 存储 (Software-Defined Storage, SDS) 、 人 存储 虚 
拟 化 的 起 源 和 友 展 做 了 简单 介绍 。 


1.1 ”软件 定义 数据 中 心 


1.1.1 ”软件 定义 数据 中 心 的 起 源 


在 IT 基 础 架构 领域 ,最 早出 现 的 软件 定义 ， 是 软件 定义 网 络 (Software-Defined Net-work, SDN) 。SDN 起 源 于 2006 年 
斯 坦 福 大 学 的 Clean Slate 研 究 课题 。2009 年 ，Mckeown 教 授 正式 提出 了 SDN 的 概念 。 通 过 将 网 络 设备 的 控制 平面 与 数据 平面 
分 离开 来 ， 并 实现 可 编程 化 控制 ， 实 现 了 网 络 流 量 的 灵活 控制 ， 为 核心 网 络 及 应 用 的 创新 提供 了 展 好 的 平台 。 


随后 ， 在 2012 年 8 月 ，VMware 在 其 VMworld2012 大 会 上 首次 提出 软件 定义 数据 中 心 的 概念 ， 如 图 1-1 所 示 。 


在 商业 数据 瞬息 万 变 的 今天 ， 越 来 越 多 的 企业 希望 |T 团 队 能 够 快速 简单 地 创建 应 用 业务 ， 以 此 快速 满足 业务 需求 。 因 此 ， 是 
否 需要 建立 内 部 IT 团队 ， 或 者 外 包 其 IT 和 应 用 ， 是 每 个 企业 急需 做 出 的 决策 。 
适用 于 混合 云 的 理想 体系 结构 


”所 有 基础 构 染 服务 均 已 虚拟 化 : 
计算 、 网 络 、 存 储 


euh 平台 
”数据 中 心 由 软件 自动 控制 


$ 管理 和 自动 化 (管理 、 安 全 性 ) 


S a4 E em 。 适 用 于 现 有 应 用 和 新 应 用 的 统一 
软件 定义 的 数据 中 心 平台 ， 可 交付 至 众多 设备 


池 化 目 动 化 





图 1-1 VMware SDDC 


在 传统 的 硬件 定义 数据 中 心中 ， 不 同 的 关键 业务 运行 在 独立 的 服务 器 上 。 用 尸 若 需 部 署 新 的 业务 ， 必 须 提前 采购 和 配置 服务 
器 、 和 存储 和 网 络 硬 件 ， 整 个 周期 非常 元 长 。 


而 软件 定义 数据 中 心 则 类 似 于 Amazon、Google 和 Facebook 所 采取 的 方法 。 这 一 方法 与 硬件 垂直 一 体 化 的 方法 大 相 径 庭 。 
在 一 个 以 硬件 为 中 心 的 数据 中 心中 ， 用 尸 必须 为 实现 业务 功能 购买 独立 的 硬件 ， 如 人 存储、 服务 器 、 网 络 等 。 而 通过 运用 软件 定义 
数据 中 心 ， 用 己 可 以 将 存储 、 服 务 器 、 网 络 等 资源 池 化 和 目 动 化 ， 使 其 变 得 更 加 灵活 ， 从 而 快速 响应 企业 的 业务 变更 需求 。 

VMware 认 为 ， 软 件 定 义 数据 中 心 是 IT 演 变 的 下 一 个 阶段 ， 是 运 今 为 止 最 有 效 、 恢 复 能 力 最 强 和 最 经 济 高 效 的 云 计 算 基 础 染 
构 万 法 。SDDC 万 法 论 将 对 存储 、 网 络 连 接 、 安 全 和 可 用 性 应 用 抽 销 化 、 池 化 与 上 自动化， 整个 数据 中 心 由 软件 目 动 控制 。 基 础 染 
构 提供 的 服务 将 聚合 起 来 ， 并 与 基于 策略 的 智能 调配 、 目 动 化 和 监控 功能 结合 在 一 起 使 用 。 应 用 编程 接口 和 其 他 连接 器 文 持 无 颖 
延展 到 私有 云 、 混 合 云 与 公有 云 平台 。 


入 单 来 咬 ， 软 件 定 义 数 据 中 心 最 大 的 特点 是 灵活 性 和 弹性 。 通 过 软件 构建 的 虚拟 层 ， 灵 活 地 调度 和 配置 数据 中 心 的 计算 资 


源 、 网 络 资源 、 存 储 资源 、 安 全 控制 资源 ， 以 虚拟 化 的 形式 交付 完整 的 数据 中 心服 务 。 
1.1.2 ”基本 模块 


软件 定义 数据 中 心 最 核心 的 资源 便 是 计算 、 存 储 与 网 络 ， 这 三 者 是 基本 的 功能 模块 。 与 传统 以 硬件 为 核心 的 数据 中 心 不 同 ， 
软件 定义 数据 中 心 更 强调 从 硬件 抽 缚 出 的 能 力 ， 而 并 非 硬件 本 身 。 


对 计算 资源 来 讽 ， 通 过 计算 虚拟 化 ， 计 算 能 力 可 以 从 硬件 平台 抽 和 儿 出 来 ， 让 计算 人 资源 脱 离 硬件 的 限制 ， 形 成 资源 池 。 计 算 资 
源 还 能 够 在 软件 定义 数据 中 心 学 围 内 迁移 ， 这 样 才 可 能 动态 调整 负载 。 

对 存储 和 网 络 资 源 来 说 ， 首 先 要 求 控制 层 与 数据 层 分 离 ， 这 是 脱离 硬件 控制 的 第 一 步 ， 也 是 能 够 用 软件 定义 这 些 设备 行为 的 
急 级 阶段 。 在 这 之 后 ， 才 能 考虑 如 何 将 控制 层 与 数据 层 分 别 接 入 软件 定义 数据 中 心 。 


除了 以 上 三 个 最 核心 的 模块 ， 安 全 也 越 来 越 成 为 数据 中 心 需要 蛙 独 考量 的 一 个 因素 。 安 全 隐患 既 可 能 出 现在 基本 的 计算 、 存 
储 与 网 络 之 间 ， 也 有 可 能 隐藏 在 数据 中 心 的 管理 系统 或 者 有 用户 的 应 用 程序 中 。 因 此 ， 有 必要 把 安全 单独 作为 一 个 基本 模块 。 


最 后 ， 目 动 化 的 管理 是 将 软件 定义 数据 中 心 的 各 基本 模块 组 织 起 来 的 天 键 。 因 为 对 用 户 来 况 ， 超 大 规模 数据 中 心 的 管理 ， 目 
动 化 是 必 选 。 


1.1.3 ”层次 细 分 


软件 定义 数据 中 心 通过 以 下 三 种 关键 扩 术 对 数据 中 心中 的 物理 资源 进行 虚拟 化 和 池 化 工作 ， 使 家 抽象 化 的 资源 实现 统一 的 管 
理 调度 ， 如 图 1-2 所 示 。 
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图 1-2 VMware 对 软件 定义 数据 中 心 的 描述 





. 软件 定义 计算 : 虚拟 化 是 软件 定义 计算 最 主要 的 解决 途径 。 虽 然 类 似 技术 在 IBM S/360 系 列 机 器 中 早已 出 现 ， 但 是 其 真正 
普及 使 用 、 走 入 大 规模 数据 中 心 还 是 在 VMware 推 出 基于 x86 架 构 处 理 器 的 虚拟 化 产品 之 后 。 除 了 基于 VMware 的 虚拟 化 解决 方 
案 ， 还 有 基于 XEN、KVM 的 开源 解决 方案 。 虚 拟 机 成 为 计算 调度 和 管理 的 单位 ， 可 以 在 数据 中 心 其 至 跨 数据 中 心 的 范围 内 动态 
迁移 而 不 用 担心 服务 会 中 断 。 


: 软件 定义 仓储 : BG RGUSBORZG RAS EU ERE IRS, AEn LEERAREA, HERE 
交互 方面 ， 则 可 以 兼容 各 种 不 同 的 连接 方式 。 这 种 方式 可 以 很 好 地 与 传统 软 硬 件 环境 兼容 ， 从 而 使 IT 管 理 人 员 在 不 浪费 现 有 硬件 
设备 的 前 提 下 平 消 过 渡 到 新 硬件 设备 。 

- 软件 定义 网 络 : 同 软 件 定义 存储 一 样 ， 控 制 平面 与 转发 平面 必须 分 离 。 由 软件 定义 的 不 仅仅 是 网 络 的 拓扑 结构 ， 还 可 能 有 


层 登 结构 。 除 此 之 外 ， 软 件 定义 网 络 还 具有 开放 的 可 编程 接口 与 集中 化 的 网 络 控制 。 


1.1.4. VMware SDDC 发 展 与 现状 


目前 ，VMware 拥 有 一 整套 应 用 于 创建 软件 定义 数据 中 心 的 产品 ， 这 四 大 支柱 产品 提供 了 完整 可 用 的 软件 定义 数据 中 心 解决 
方案 ， 如 图 1-3 所 示 。 


将 虚拟 计算 扩展 根据 应 用 需求 
到 所 有 应 用 实现 存储 转型 


IERI 4 管理 工具 
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图 1-3 ”软件 定义 数据 中 心 


VMware vSphere 为 计算 模块 提供 处 理 器 和 内 存 资 源 。VMware vSphere 是 业界 领先 的 虚拟 化 平台 ， 使 用 户 能 够 自信 地 虚 
拟 化 任何 应 用 、 重 新 定义 可 用 性 和 简化 虚拟 数据 中 心 。 最 终 可 实现 高 度 可 用 、 恢 复 能 力 强 的 按 需 基础 架构 ， 这 对 于 任何 云 计算 环 


境 而 言 都 是 理想 的 基础 平台 ， 可 以 降低 数据 中 心 成 本 ， 增 加 系统 和 应 用 正 党 运行 时 间 ， 并 显著 简化 上 T 运 行 数 据 中 心 的 方式 。 
vSphere 专 为 新 一 代 应 用 而 打造 ， 是 软件 定义 数据 中 心 的 核心 基础 模块 。vSphere 虚 拟 化 底层 结构 图 如 图 1-4 所 示 。 
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图 1-4 vSphere 虚 拟 化 底层 结构 图 


VMware Virtual SAN 和 VMware Site Recovery Manager 提 供 存储 与 可 用 性 服务 。 其 中 ，VMware Virtual SAN 是 适用 于 
VMware 超 融 合 软件 解决 方案 的 企业 级 存储 。Virtual SAN 以 独特 的 方式 内 网 在 虚拟 化 管理 程序 中 ， 可 为 所 有 虚拟 化 应 用 提供 经 
过 闪存 优化 的 高 性 能 超 融 合 存储 ， 所 需 成 本 仅 为 专门 构建 的 传统 存储 以 及 其 他 效率 较 低 的 超 融 合 基础 架构 解决 方案 的 一 小 部 分 ， 
如 图 1-5 所 示 。 
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图 1-5 VMware Virtual SAN 存 储 虚 拟 化 平台 


而 通过 Site Recovery Manager 与 底层 复制 技术 的 集成 ， 可 以 向 用 户 提供 基于 策略 的 管理 、 无 中 断 测试 和 自动 化 的 恢复 计划 
编排 。 通 过 Site Recovery Manager 与 VMware NSX 和 VMware Virtual SAN 的 集成 ， 用 户 能 够 以 原生 形式 利用 VMware 
vSphere 的 优势 ， 并 充分 利用 软件 定义 数据 中 心 体系 结构 。 借 助 Site Recovery Manager， 用 户 能 够 在 最 大 限度 缩短 停机 时 间或 
零 停机 的 情况 下 在 站 操 间 测试 和 上 自动 执行 应 用 迁移 ， 从 而 满足 各 种 用 例 (如 灾难 恢复 、 灾 难 规避 、 计 划 内 数据 中 心 迁移 、 站 扣 级 
别 的 负载 均衡 ， 甚 至 是 应 用 维护 测试 ) 的 需求 。 如 图 1-6 所 示 。 


VMware NSX 提 供 网 络 虚 拟 化 ， 其 通过 提供 全 新 的 网 络 运 维 模型 ， 突 破 了 当前 物理 网 络 的 障碍 并 且 人 允许 数据 中 心 管 理 员 将 
敏捷 性 和 经 济 性 提高 各 干 数 量 级 。VMware NSX 提 供 了 一 整套 简化 的 逻辑 网 络 连 接 元 素 和 服务 ， 包 括 逻辑 交换 机 、 路 由 器 、 防 
火 墙 、 负 载 均衡 、VPN、 服 务 质量 、 监 控 和 安全 保护 。 这 些 服务 可 以 在 虚拟 网 络 中 通过 基于 NSX API 的 任何 云 计算 管理 平台 进 
行 调配 ， 并 且 可 以 安排 在 任何 隔离 和 多 租 尸 拓扑 中 。 虚 拟 网 络 可 以 通过 任何 现 有 的 网 络 进行 无 中 断 部 署 ， 并 且 可 以 部 署 在 任何 虚 
拟 化 管理 程序 上 。 如 图 1-7 所 示 。 





图 1-6 Site Recovery Manager) 自动 进行 故障 切换 并 将 虚拟 机 迁移 到 辅助 站 点 
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图 1-7 VMware NSX 网 络 虚 拟 化 平台 


VMware vRealize Operations 提 供 自 动 化 的 管理 服务 ， 其 可 跨 物 理 、 虚 拟 和 云 计算 基础 以 构 (从 VMware vSphere 和 
Hyper-V 到 Amazon Web Services) 提供 智能 运 维 管理 。 它 借助 易于 使 用 的 统一 管理 工具 将 从 应 用 到 人 存储 的 数据 关联 起 来 ， 该 
工具 可 用 于 控制 性 能 、 容 量 和 配置 ， 其 预测 性 分 析 功 能 可 推进 执行 主动 操作 和 基于 策略 的 自动 化 。 如 图 1-8 所 示 。 
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图 1-8 ”适用 于 虚拟 基础 架构 和 云 计 算 基 础 架构 的 自动 化 运 维 管理 


1.1.5 ”软件 定义 数据 中 心 的 优势 


软件 定义 数据 中 心 相 比 传统 数据 中 心 主要 提供 了 以 下 几 个 优点 : 
1. 效 率 


SDDC 虚 拟 化 了 物理 基础 设置 中 的 计算 、 网 络 、 安 全 和 存储 组 件 ， 因 此 改善 了 其 效率 和 敏捷 性 。 由 于 虚拟 化 的 基础 设施 不 存 
在 硬件 孤岛 现象 ， 其 可 以 更 快 响应 企业 需求 的 改变 。 通 过 抽象 化 和 资源 整合 以 分 析 为 基础 的 自动 化 运 维 管 理 ， 软 件 定义 数据 中 心 
架构 可 以 降低 运 维 和 资本 开支。 


2. 敏 捷 性 


SDDC 的 云 省 理 平台 组 件 提供 横 跨 多 个 平台 和 云 的 目 助 服务 部 署 。 这 一 部 署 基于 策略 驱动 的 自动 化 ， 并 确保 用 尸 补 限制 在 其 
职能 学 围 内 操作 。 


3. 控 制 管 理 


软件 定义 数据 中 心 提供 了 更 多 的 控制 与 选择 。 例 如 ， 通 过 采用 基于 策略 的 监管 框架 ， 软 件 定义 数据 中 心 可 以 为 每 个 应 用 程序 
或 基础 设施 服务 提供 完善 的 可 用 性 与 安全 性 。 通 过 运行 在 私有 云 或 公有 云 中 的 自动 化 业务 持续 性 和 灾难 恢复 特性 来 缩短 宕 机 时 
间 ， 将 应 用 业务 的 正常 工作 时 间 延 长 至 最 高 级 别 。 通 过 横 跨 不 同 云 的 虚拟 化 感知 安全 与 合 规 性 缩短 宕 机 时 间 。 使 用 根源 分 析 来 消 
除 解 决 问题 时 的 时 间 成 本 。 


tx 


4. 选 # 


过 软件 定义 数据 中 心 的 自助 服务 组 件 ， 可 以 给 用 户 提供 部 署 选 择 。 用 户 可 以 在 私有 、 公 有 或 混合 云 基础 设施 上 部 署 虚 拟 
样 灵活 的 部 署 选 择 给 用 户 提供 了 高 度 自由 ， 用 户 可 以 根据 需求 使 用 软件 定义 的 企业 方案 在 任何 时 间 、 任 何平 台 部 署 任何 应 
件 定 义 数 据 中 心 广 持 多 种 虚拟 机 管理 程序 (Hyper-V, KVM) 以 及 多 种 云 平台 (OpenStack, Amazon AWS) 。 
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1.2 früBEEWA HB EE 


1.2.4 ARS eset HRA 


从 1999 年 VMware 推出 业界 第 一 套 x86 计 算 机 虚拟 化 软件 ， 多 个 操作 系统 可 以 安 委 在 一 台 基 于 x86 的 PC 或 服务 器 里 后 ， 服 务 
器 虚拟 化 拉 术 已 经 经 历 了 十 几 年 的 迭代 更 新 。 近 年 来 ， 随 着 x86 计 算 机 性 能 的 飞速 友 展 一 CPU 处 理 能 力 越 来 越 哩 ， 内 存 容量 越 来 
越 大 ， 服 务 器 虚拟 化 的 整合 率 越 来 越 高 ， 性 能 效率 比 愈加 凸显 。 目 前 ,服务 器 虚拟 化 软件 已 经 运行 在 几乎 所 有 世界 500 强 的 生产 
或 测试 环境 中 ， 得 到 了 各 行 各 业 的 充分 信任 与 广泛 认可 ， 这 标志 着 服务 器 虚拟 化 已 经 走向 成 熟 。 


虚拟 化 、 云 计算 和 硬件 技术 的 友 展 ， 使 得 软件 定义 成 为 可 能 。 随 着 虚拟 化 和 云 计 算 的 普及 ， 用 尸 的 思维 万 式 也 友 生 了 转变 ， 
逐渐 意识 到 快速 、 敏 捷 、 灵 活 地 获取 计算 资源 已 经 成 为 可 能 ， 并 且 逐 渐 要 求 能 按 需 使 用 ， 按 需 付费 。 


因此 ， 作 为 虚拟 化 和 云 计 算 里 重要 的 组 成 部 分 ， 人 们 开始 对 存储 虚拟 化 有 了 遐想 空间 ， 和 存储 也 应 该 适应 新 的 需求 而 不断 完 
善 ， 做 到 仓储 即 服务 ， 实 现 快速 人 交付， 动态 调整 。 


1.2.2 ”仓储 虚拟 化 的 起 源 和 友 展 


数 十 年 前 ， 计 算 机 服务 器 的 CPU 处 理 能 力 弱 、 内 存 小 、 单 块 磁 盘 的 性 能 和 容量 都 较 小 。 为 了 不 占用 服务 器 内 部 的 CPU 和 内 
存 资 源 ， 提 高 数据 的 性 能 、 可 靠 性 (如 RAID 保 护 ) 、 可 用 性 (如 快照 、 容 灾 、 双 活 等 ) 、 扩 展 性 ， 以 及 提供 方便 易 用 的 集中 管 
理 ， 诞 生 了 外 置 磁 盘 阵 询 。 外 置 磁盘 阵列 本 身 目 市 智能 控制 器 ， 能 够 组 织 管理 数据 ， 并 提供 快照 、 容 火 等 局 级 的 软件 功能 


然而 ， 近 几 年 来 ， 新 扩 术 的 友 代 显著 地 改变 了 人 储 以 构 。 其 包括 以 下 几 方面 : 


:SSD: 延迟 从 磁盘 的 毫秒 级 缩短 到 亚 毫秒 级 〈0.1 毫 秒 ) ， 性 能 从 单 块 15K 磁 僵 的 180 左 右 IOPS， 猛 增 到 单 块 SSD 的 数 万 
IOPS; 闪存 价格 的 下 降 速 度 比 硬盘 更 快 ， 根 据 IDC 预 测 ， 两 者 价格 曲线 将 于 2015 一 2017 年 出 现 交 叉 ， 届 时 单位 GB 的 SSD 的 价格 
甚至 低 于 单位 GB 的 15 区 磁盘 的 价格 。 


: CPU 多 核 技术 : 服务 器 的 CPU 多 核 早 已 广泛 应 用 到 各 项 业务 中 ， 尤 其 是 在 虚拟 化 环境 中 ， 多 核 处 理 器 不 仅 提 高 了 处 理 器 利 
用 率 ， 而 且 提 高 了 单 台 服务 器 上 用 户 对 更 多 LI/O 的 需求 ， 这 反 过 来 驱动 底层 存储 进行 变革 。 虽 然 当 前 绝 大 多 数 存储 控制 器 采用 了 
x86 架 构 ， 但 是 从 最 近 三 年 才 真 正 开 始 利 用 CPU 多 核 处 理 LI/O 。 


` 高 速 网 络 技 术 : 分 布 式 存 储 借 助 于 节点 之 间 的 SSD 缓 存 同 步 复 制 来 确保 数据 的 宛 余 性 ， 也 得 益 于 近年 来 网 络 的 融 速 发 展 ; 
目前 ， 万 兆 网 络 的 延迟 非 第 小 ， 大 约 在 100 微 秒 ， 远 小 于 PCIe 闪 存 的 延迟 1 毫秒 ; 如 果 采 用 RDMA 技 术 ， 延 迟 能 更 小 。 


“大 容量 服务 器 和 磁盘 : 分 布 式 存储 借助 于 大 容量 的 服务 器 和 磁盘 ， 也 能 够 提供 以 往外 置 磁盘 阵列 才能 支持 的 大 存储 容量 。 
分 布 式 仓储 及 面向 对 稍 仓 储 技术 的 逐渐 成 敦 。 
虚拟 化 和 云 计 算 要 求 更 智能 的 存储 ， 能 够 调用 其 控制 信息 ， 配 合 上 层 更 灵活 、 敏 捷 的 部 署 存储 资源 。 


目前 ， 和 存储 市 场 上 更 多 的 是 做 数据 层 的 厂商 ， 很 少 有 做 控制 层 的 SDS 厂 商 。 因 为 控制 平面 的 复杂 度 高 ， 而 且 在 短 时 间 内 很 难 
看 到 回报 。 这 些 做 数据 平面 的 广 商 ， 绝 大 部 分 还 在 抽象 化 、 池 化 这 两 个 阶段 。 


抽象 化 做 的 是 软 硬 件 解 厢 ， 池 化 做 的 是 存储 虚拟 化 。 池 化 包括 存储 虚拟 化 和 存储 标准 化 ， 而 存储 虚拟 化 指 所 有 存储 资源 的 虚 
拟 化 ， 包 括 : 


+ 外 置 磁盘 阵列 内 的 虚拟 化 。 
- 跨 外 置 磁盘 阵列 的 虚拟 化 (也 即 异 构 存 储 的 管理 ) 。 
分 布 式 存 储 服 务 器 内 的 存储 虚拟 化 。 


第 一 步 是 抽象 化 ， 没 有 解 厢 ， 寸 步 难 行 ; 第 二 步 是 池 化 ， 这 样 才能 灵活 分 配 和 存储 资源 ;第 三 步 是 自动 化 ， 和 存储 资源 由 软件 
(Hypervisor) 来 自动 分 配 和 管理 。 


1.3 ERE Gef 


1.3.1 ”软件 定义 存储 简介 
软件 定义 存储 (Software Defined Storage, SDS) 是 软件 定义 数据 中 心 的 一 个 核心 组 件 。 有 别 于 传统 的 存储 ， 软 件 定义 
存储 提出 了 一 种 新 的 存储 管理 模式 ， 使 其 能 够 满足 软件 定义 数据 中 心 以 及 云 计 算 平台 对 存储 提出 的 全 新 需求 。 


软件 定义 存储 将 异 构 存储 硬件 资源 抽象 化、 池 化 并 上 自动化。 其 为 虚拟 化 环境 提供 了 一 个 高 效 、 敏 捷 、 灵 活 的 存储 操作 模型 ， 
将 控制 平面 与 数据 平面 分 离 。 除 了 控制 平面 和 数据 平面 的 分 离 外 ， 软 件 定 义 存 储 通过 存储 虚拟 化 还 将 物理 存储 与 逻辑 存储 进行 了 
解 耦 。 通 过 软件 定义 的 存储 解决 方案 ， 用 户 可 以 在 不 增加 工作 量 的 情况 下 进行 纵向 和 横向 扩展 。 如 图 1-9 所 示 。 
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图 1-9 ”软件 定义 存储 

软件 定义 存储 是 一 种 存储 解决 方案 ， 其 从 以 下 三 个 角度 将 存储 作为 软件 : 

- 基于 策略 的 管理 : 允许 通过 以 应 用 程序 为 中 心 的 策略 来 实现 自动 存储 管理 。 

` 与 数据 服务 无 关 的 虚拟 化 硬件 : 允许 在 虚拟 机 级 别 对 数据 服务 进行 精细 管理 ， 不 需要 专用 的 硬件 设备 。 


AS E EXE RR IIO: 将 存储 资源 (包括 直 连 存储 DAS、 传 统 SAN、 网 络 存储 NAS) 以 资源 池 的 形式 提供 给 虚拟 机 。 


为 了 更 好 地 理解 软件 定义 存储 ， 我 们 引用 了 全 球 网 络 存储 工业 协会 (Storage Network-ing Industry 
Association, SNIA) 对 其 的 定义 : SDSs 人 允许 异 构 或 者 专 有 的 平台 ， 但 是 该 平台 必须 能 够 提供 部 署 和 管理 其 虚拟 存储 空间 的 自助 
服务 接口 。 除 此 之 外 ，SDS 还 应 该 包括 以 下 内 容 : 


: 自动 化 : 简化 管理 ， 降 低 维护 存储 架构 的 成 本 。 

` 标准 接口 : 提供 应 用 编程 接口 ， 用 于 管理 、 部 署 和 维护 存储 设备 与 存储 服务 。 
` 虚拟 数据 路 径 : 提供 块 、 文 件 和 对 象 的 接口 ， 支 持 应 用 通过 这 些 接口 写 入 数据 。 
` 扩展 性 : 无 须 中 断 应 用 ， 也 能 提供 可 靠 性 和 性 能 的 无 颖 扩展 。 


. 透明 性 : 提供 存储 消费 者 对 存储 使 用 状况 及 成 本 的 监控 和 管理 。 


1.3.2 与 存储 虚拟 化 的 区 别 


近 十 几 年 ， 存 储 及 其 管理 大 臻 经历 了 三 个 阶段 : 软件 与 硬件 的 尝 耦 合 ， 软 件 与 硬件 半 耦 合 ; RASA. MaRS 
硬件 耦合 程度 的 降低 ， 人 存储 硬件 设备 的 管理 越 来 越 目 动 化 ， 而 仓储 服务 也 越 来 越 灵 活 。 但 是 ， 人 存储 虚拟 化 并 不 等 于 软件 定义 仔 
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略 。 


相 比 于 仓储 虚拟 化 ， 软 件 定义 仓储 有 以 下 几 个 优 氮 : 


:时间 开销 少 ， 控 制 层 与 数据 层 分 离 ， 使 得 用 户 能 够 更 加 关注 控制 层 ， 减 少 了 数据 层 庶 拟 化 的 开销 ， 而 且 使 得 用 户 操 作 更 加 
灵活 和 万 便 。 


. 数据 层 的 可 扩展 性 高 ， 由 于 软件 定义 存储 不 需要 关注 数据 存储 方式 ， 因 此 可 扩展 性 更 高 ， 不 仅 可 以 跨 不 同 的 存储 产品 ， 而 
且 可 以 跨 数 据 中 心 。 


. 数据 监控 性 和 数据 安全 性 高 ， 由 于 软件 定义 存储 提供 了 足够 的 API 调 用 底层 的 信息 ， 因 此 数据 监控 更 加 方便 ， 而 且 控 制 层 
不 能 影响 数据 层 访问 方式 ， 数 据 存储 的 安全 性 增强 。 


:隔离 更 易 实现 ， 当 数据 动态 传递 以 及 共享 时 ， 由 于 同一 物理 设备 有 其 不 同 的 数据 层 和 对 应 的 控制 层 ， 存 储 应 拟 化 对 不 同 虚 
拟 用 户 访问 同一 物理 设备 做 隔离 时 不 仅 要 在 数据 层 隔 离 ， 而 且 要 在 控制 层 隔 离 ; 而 软件 定义 存储 由 于 共享 同一 个 控制 层 ， 因 此 隔 
离 操作 时 在 控制 层 相 对 容易 ， 其 主要 精力 放 在 数据 层 隔离 。 
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本 草 主要 对 软件 定义 数据 中 心 进行 了 介绍 ， 包 括 其 基本 模块 、 层 次 细 分 、 优 势 ， 并 结合 VMware 当 前 的 产品 线 前 述 了 
VMware 对 软件 定义 数据 中 心 的 布局 。 此 外 ， 本 章 还 介绍 了 存储 虚拟 化 以 及 软件 定义 存储 。 


第 2 章 Virtual SAN 存储 虚 拟 化 概览 


本 章 主 要 介绍 了 软件 定义 存储 和 VMWare Virtual SAN 的 基本 概念 ， 对 VMWare Virtual SAN 的 功能 与 特性 、 友 展 与 现状 做 
了 介绍 。 


2.1 VMware Virtual SAN 存 储 虚 拟 化 解决 方案 


2.1.1 VMware 服务 器 虚拟 化 


VMware vSphere 是 业界 领先 的 虚拟 化 平台 ， 其 不 依赖 任何 操作 系统 ， 抵 层 使 用 ESXi 虚 拟 机 管理 程序 ， 可 以 被 安装 到 本 地 
物理 硬盘 、 外 置 SAN 环 境 、 闪 存 、USB 驱 动 器 等 地 方 。 作 为 物理 服务 器 的 Hypervisor、VvSphere 可 以 访问 物理 服务 器 的 底层 信 
息 。 安 半 了 ESXi 程 序 的 物理 服务 器 也 称 为 ESXi 主 机 。 图 2-1 前 还 了 VMware vSphere 服 务 器 虚拟 化 架构 。 


VMware 服 务 器 虚拟 化 解决 方案 的 核心 思想 有 以 下 几 操 : 


1. 提 高 现 有 资源 的 利用 率 


通过 对 服务 器 的 整合 ， 使 得 一 台 物 理 服务 器 上 可 以 运行 多 个 虚拟 机 操作 系统 ， 安 委 多 个 应 用 。 每 台 虚 拟 机 在 功能 执行 上 与 物 
理 服 务 器 没有 任何 区 别 。 


2. 降 低 运 维 成 本 
通过 硬件 虚拟 化 减少 服务 器 及 相关 硬件 设备 ， 以 此 减少 占 地 空间 ， 以 及 降低 电力 和 散热 需求 。 通 过 VMware 配套 管理 工具 出 
色 的 管理 能 力 ， 可 以 帮助 提高 服务 器 /管理 员 比 率 ， 进 一 步 减 少 人 员 数 量 ， 从 而 降低 运 维 成 本 。 
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图 2-1 VMware vSphete 服 务 器 虚拟 化 架构 
3. 提 高 硬件 和 应 用 程序 的 可 用 性 


vSphere 可 以 通过 其 高 可 用 (HA) 和 动态 资源 分 配 (DRS) 技术 安全 地 备份 与 迁移 整个 染 构 ， 而 不 会 出 现 服 务 中 断 的 情 
况 。 同 时 ， 消 除 计划 内 停机 ， 使 业务 从 计划 外 故障 中 立即 恢复 。 


4. 实 现 运 维 灵 活性 

由 于 采用 动态 资源 分 配 技术 ， 可 以 加 快 服务 器 调配 并 改进 条 面 和 应 用 程序 的 部 署 。 

5. 提 高 梨 面 的 可 管理 性 和 安全 性 

用 户 可 以 在 本 地 或 远程 ， 通 过 标准 PC、 笔 记 本 或 平板 电脑 等 便携 设备 部 署 、 管 理 和 监视 虚拟 化 环境 。 


除了 标准 的 vSphere 虚 拟 机 管理 程序 ，VMware 使 用 vCenter Server 来 统一 部 署 和 管理 安 闭 在 跨 多 个 物理 服务 器 上 的 虚拟 
机 。vCenter Server 可 以 通过 vSphere Web Client 这 一 统一 管理 平台 对 多 台 服 务 器 进行 管理 ， 实 现 以 下 主要 功能 : 


- 在 线 迁 移 (vMotion) 技术 ， 将 正在 运行 的 虚拟 机 从 一 台 物 理 服 务 器 迁移 到 其 他 物理 服务 器 ， 而 无 须 中 断 。 这 是 VMware 引 
以 为 做 的 核心 技术 之 一 ，DRS、HA 等 高 级 功能 都 是 基于 这 一 技术 。 


动态 资源 分 配 技 术 ， 使 得 多 台 物 理 服务 器 中 运行 的 虚拟 机 可 以 实现 负载 均衡 。DRS 利 用 了 vMotion 技 术 来 实现 这 一 功能 ， 


当 其 检测 到 茶 人 台 服 务 器 负载 临近 姜 值 时 ， 就 可 以 通过 vMotion 技 术 进 行 在 线 迁移 。 


` 分 布 式 电 源 管 理 (DPM) 可 以 结合 DRS 功 能 ， 将 多 个 负载 较 低 的 虚拟 机 集中 到 少数 物理 服务 器 上 ， 把 无 用 的 物理 服务 器 关 
机 ， 从 而 节省 电力 。 而 在 服务 器 负载 增加 时 ， 对 没有 使 用 的 物理 服务 器 加 电 开 机 ， 再 通过 DRS 实 现 负载 均衡 。 


- 存储 在 线 迁 移 (Storage vMotion) 技术 ， 多 许 正 在 运行 的 虚拟 机 存储 资源 从 一 个 存储 设备 迁移 到 另 一 个 存储 设备 上 。 
- 存储 动态 资源 分 配 (Storage DRS) 技术 ， 允 许 虚 拟 机 从 存储 的 角度 进行 负载 均衡 。 

数据 保护 (Data Protection) 功能 ， 可 以 对 虚拟 机 进行 备份 。 

` 高 可 用 性 ， 当 一 人 台 物 理 服 务 器 出 现 故障 时 ， 可 以 将 受 影响 的 虚拟 机 迁移 到 其 他 物理 服务 器 上 。 


容错 (FT) 技术 ， 允 许 在 不 同 物理 服务 器 上 运行 两 人 台 完 全 一 样 的 虚拟 机 ， 提 供 最 高 等 级 的 宛 余 性 ， 即 使 一 台 物 理 服 务 器 
(或 虚拟 机 ) 发 生 故 障 ， 也 不 会 中 断 业 务 运行 。 


- 复制 (Replication) ， 可 以 复制 虚拟 机 的 所 有 镜像 到 另 一 个 站 点 ， 进 行 灾难 恢复 ， 保 障 数据 安全 。 


目前 最 新 的 VMware vSphere 软 件 已 经 友 布 到 第 六 代 ， 它 分 为 标准 版 (Standard) 、 企 业 增 强 版 (Enterprise Plus) 和 
vSOM 企 业 增强 版 (vSphere with Operations Management Enter-prise Plus) 三 种 。 不 同 版 本 可 以 实现 不 同 的 功能 ， 其 价 
格 也 随 版 本 不 同 而 不 同 。 表 2-1 所 示 为 每 个 版 本 能 实现 的 功能 概览 。 


表 2-1 vSphere 不 同 版 本 能 实现 的 功能 概览 
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2.1.2 Virtual SAN 解 决 方案 概览 


Virtual SAN 是 一 种 基于 软件 的 分 布 式 存储 解决 方案 ， 其 直接 构建 在 hypervisor 中 ,支持 VMware vSphere 所 有 需要 共享 存 


储 的 特性 。 它 是 一 种 专 为 虚拟 机 设计 的 超 融 合 存 储 解 决 方案 ， 简 化 了 存储 配置 和 虚拟 机 部 署 ， 其 通过 虚拟 化 VMware ESXi 主 机 
上 的 本 地 物理 存储 资源 ， 将 仓储 抽 和 儿 化 ， 作 为 池 呈 现 给 集群 中 的 主机 ， 以 此 来 提供 仓 储 服 务 和 服务 水 平 协议 的 目 动 化 。 由 于 其 将 
闪存 设备 作为 高 速 的 缓存 层 ， 提 升 了 存储 的 整体 I/O 性 能 ， 将 机 械 硬盘 (或 低 闯 内 人 存 ) 作为 数据 存储 的 容量 层 ， 降 低 了 整体 的 存 
储 成 本 ， 因 此 在 性 能 相当 的 情况 下 ， 总 体 拥 有 成 本 可 以 降低 20%。 


软件 定义 存储 的 一 个 关键 要 素 是 基于 存储 策略 的 管理 (Storage Policy-Based Manage-ment, SPBM) ， 这 是 Virtual 
SAN 的 关键 特性 之 一 。 通 过 SPBM 和 vSphere API， 底 层 仓 储 技术 表现 为 一 个 具有 多 种 功能 的 抽象 化 的 人 存储 空间 池 ， 并 展现 给 管 
理 员 用 于 虚拟 机 部 署 。 由 于 Virtual SAN 与 VMware 整个 产品 堆 枝 无 缝 融合， 天 然 支持 vVMotion、HA 和 DRS9 等 功能 ， 管 理 员 可 以 
轻松 完成 对 虚拟 机 的 存储 策略 管理 。 


Virtual SAN 的 主要 特征 和 功能 


内 置 在 vSphere 内 核 中 : Virtual SAN 在 vSphere 内 核 内 部 实现 。Virtual SAN 与 VvSphere 的 无 颖 集成 非常 独特 ， 可 帮助 优化 性 能 
和 可 扩展 性 。 


- 读 / 写 (I/O) 缓存 : Virtual SAN 通 过 在 服务 器 端 内 存 中 内 置 缓存 ， 加 快 读 / 写 磁 盘 LI/O 的 速度 ， 将 存储 延迟 降 到 最 低 程 


m 


:内置 故障 防护 : 该 技术 利用 分 布 式 RAID 和 缓存 镜像 确保 磁盘 、 主 机 或 网 络 发 生 故 障 时 绝 不 丢失 数据 。 
- 无 中 断 容量 可 扩展 性 : 可 以 通过 为 集群 添加 主机 或 为 主机 添加 磁盘 ， 轻 松 地 无 中 断 扩 展 Virtual SAN 数 据 存储 的 容量 。 


- 以 虚拟 机 为 中 心 的 基于 策略 的 管理 : 该 解决 方案 采用 可 自动 转换 为 系统 配置 的 策略 语句 将 存储 要 求 与 各 个 虚拟 机 或 虚拟 磁 
盘 关 联 起 来 。 采 用 该 方法 ，IT 人 员 可 以 立即 调配 存储 以 严格 遵守 服务 级 别 协议 (Service-Level Agreement, SLA) 。 


自行 调节 存储 和 动态 存储 负载 平衡 : Virtual SAN 自 动 无 中 断 地 保持 为 每 个 虚拟 机 指定 的 存储 容量 、 性 能 和 可 用 性 级 别 。 该 
技术 可 以 与 YMware vSphere Distributed Resource Scheduler 进 行 互 操 作 ， 实 现 端 到 端的 计算 和 存储 负载 均衡 。 


` 与 VSphere 数 据 服 务 集成 : 该 解决 方案 利用 vSphete 快 照 、vSphete 克 隆 、VMwate vSphere Data Protection#evSphere 
Replication， 跨 集群 或 站 点 提供 数据 保护 、 备 份 、 快 速 克 隆 和 数据 传输 以 便 进行 灾难 恢复 。 


- 与 VSphere Web Client 集 成 : Virtual SAN 通 过 vSphere Web Client 进 行 管 理 ， 借 助 vSphere 实 现 单 一 窗口 管理 。 
广泛 的 硬件 兼容 性 : Virtual SAN 是 独立 于 硬件 的 解决 方案 ， 可 以 在 所 有 经 过 认证 的 服务 器 OEM 厂 商 提供 的 硬件 上 部 团 。 


- 5 VMware Horizon View 和 VIMwate vCenter Site Recovery Managet 互 操作 : 该 解决 方案 可 以 与 Hotizon View 一 起 部 署 在 虚拟 末 


面 基 础 架构 (VDI) 环境 中 ， 与 vCentet Site Recovery Manager 一 起 部 署 在 灾难 恢复 环境 中 。 
Virtual SAN 同 时 支持 全 闪存 结构 和 混合 结构 ， 其 主要 优势 如 下 : 
性 能 和 扩展 性 一 速度 是 竞争 对 手 的 1.5~5 倍 ， 同 时 具备 可 预测 的 弹性 扩展 能 力 。 
- 选择 性 一 可 以 选择 你 的 首选 存储 供应 商 ， 同 时 还 能 满足 你 的 确切 需求 ， 并 避免 浪费 。 
- 简易 性 一 使 用 双击 调配 ， 集 成 式 工 作 流 和 策略 驱动 的 管理 ， 可 大 幅 简 化 存储 操作 。 
- 成 本 一 利用 易于 操作 和 学 习 的 解决 方案 ， 可 减少 一 半 的 TCO。 


目前 最 新 的 Virtual SAN 已 经 发 展 到 第 四 代 ， 版 本 分 为 标准 版 (Standard) 、 高 级 版 (Advanced) 、 企 业 版 
(Enterprise) 三 种 。 不 同 版 本 可 以 实现 不 同 的 功能 ， 其 价格 也 随 版 本 不 同 而 不 同 。 每 个 版 本 能 实现 的 功能 概览 如 表 2-2 所 示 。 


表 2-2 Virtual SAN6.2 不 同 版 本 能 实现 的 功能 概览 


产品 组 件 
许可 证 授权 按 CPU 数量 或 VDI 桌面 数量 
Virtual SAN 快照 和 克隆 X 
EA SCIRE CHR N BR A JE A DENN 、 
( 仅 限 全 闪存 ) 
纠 删 码 -RAID 5$/6( 仅 限 全 闪存 ) x x 


值得 注意 的 是 ，VMware Virtual SAN 评 估 版 本 支持 所 有 功能 ， 试 用 期 为 60 天 。 


2.2 Virtual SAN 解决 方案 基本 架构 


2.24.1 Virtual SAN 逻 辑 架 构 


Virtual SAN 在 逻辑 架构 上 包括 虚拟 控制 面 和 虚拟 数据 面 两 个 部 分 。 
1. 虚 拟 控制 面 


控制 面 负 责 容 量 管理 、 上 自动 化 部 署 以 及 应 用 集 略 。 控 制 面 作为 应 用 程序 与 仓储 基础 设施 之 间 的 桥梁 负责 控制 和 监管 仓储 操 
作 。 通 过 使 用 Virtual SAN， 和 存储 服务 等 级 完全 通过 策略 进行 控制 ， 变 为 逻辑 实体 。 通 过 在 部 署 时 定义 和 调整 这 些 策略 的 自动 配 
置 过 程 ， 存 储 管理 员 可 以 随时 对 单个 虚拟 机 的 存储 服务 级 别 进行 调整 。 


2. 虚 拟 数 据 面 
数据 面 负责 存储 数据 ， 应 用 数据 服务 ， 如 快照 、 缓 存 和 备份 。 在 物理 模型 中 ， 数 据 面 通常 在 LUN 或 存储 卷 上 进行 存储 服务 


的 分 配 ， 这 些 存储 服务 通过 应 用 独立 定义 。 而 在 Virtual SAN 中 ， 数 据 面 通过 虚拟 化 、 抽 象 化 物理 硬件 资源 并 使 用 虚拟 数据 存储 
把 这 些 资源 聚合 为 逻辑 容量 池 。 通 过 简化 独立 应 用 及 用 的 存储 服务 级 别 ， 数 据 面 使 虚拟 磁盘 成 为 基础 的 管理 单元 ， 使 所 有 的 仓储 
操作 变 得 可 控 。 对 于 部 署 的 每 个 虚拟 机 ， 数 据 服务 都 可 独立 定义 。 因 此 ， 每 个 应 用 都 可 以 拥有 独一无二 的 存储 服务 等 级 与 可 用 
lEs 


2.2.2 Virtual SAN 存储 架构 
1. 混 合 架 构 Virtual SAN 


在 混合 架构 中 ， 固 人 态 硬 盘 SSD 充 当 分 布 式 读 写 组 分， 并 不 用 于 永久 保存 数据 。 每 个 服务 器 忆 点 最 多 支持 5 个 磁盘 组 。 每 个 磁 
盘 组 可 以 分 配 1~7 个 HDD 磁 盘 ， 但 必须 有 一 个 SSD 用 于 缓存 层 。 通 过 磁盘 组 ， 人 允许 主机 内 多 个 SSD 同 时 参与 读 写 组 存 的 工作 ， 并 
将 故障 域 缩小 到 一 定 范围 内 。 每 个 磁盘 组 只 支持 一 个 SSD: 70% 的 SSD 容 量 用 于 缓存 读 取 ， 剩 余 的 30% 用 于 缓存 写 入 。 如 图 2-2 
PTZ. 


2. 全 闪存 架构 Virtual SAN 


Virtual SAN6 支 持 全 闪存 磁盘 组 染 构 。 在 全 闪存 架构 中 ， 所 有 的 磁盘 都 必须 是 固态 硬盘 。 运 行 Virtual SAN 的 服务 器 节操 最 
多 支持 5 个 磁盘 组 。 每 个 倍 盘 组 有 1~7 个 SSD 用 于 存储 数据 ， 同 时 有 一 个 SSD 用 于 缓存 数据 。 在 全 闪存 架构 中 ，SSD 充 当 分 布 式 
缓存 时 ， 并 不 用 于 永久 保存 数据 。 每 个 磁盘 组 只 支持 一 个 SSD 作 为 缓存 层 。 由 于 全 闪存 架构 的 存储 容量 均 通 过 固态 硬盘 实现 ， 
此 读 取 性 能 并 不 是 “ 瓶 贷 ”， 缓 存 层 SSD100% 用 于 缓存 写 入 。 如 图 2-3 所 示 。 
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图 2-2 ”混合 架构 Vittual SAN 





图 2-3 ”全 闪存 架构 Vittual SAN 


2.2.3 WSwhkalyVirtual SAN 

现 有 的 最 新 版 Virtual SAN6.2 除 了 支持 传统 的 单独 区 域 部 署 外 ， 还 支持 跨 站 点 的 部 署 。 跨 站 点 部 署 的 Virtual SAN 主 要 有 延 
伸 集群 和 ROBO 两 种 ， 我 们 将 分 别 做 介绍 。 

1. 延 伸 集 群 


Virtual SAN 延 伸 集 群 是 Virtual SAN6.1 引 入 的 新 特性 。 与 故障 域 不 同 ， 延 伸 集群 可 以 理解 为 “数据 中 心 感 得 ”的 。 在 大 多 
数 情 况 下 ， 故 障 域 中 的 多 个 机 架 在 同一 个 数据 中 心中 。 虽 然 故 障 域 可 以 在 机 架 故 障 事件 友 生 时 确保 虚拟 机 的 可 用 性 ， 但 是 却 无 法 
容忍 数据 中 心 范 围 的 故障 。 通 过 配置 Virtual SAN 延 伸 集 群 ， 可 以 在 一 个 数据 中 心 遭遇 灾难 断 电 的 情况 下 避免 宕 机 事件 的 友 生 ， 
进一步 增强 Virtual SAN 的 可 用 性 与 稳定 性 。 


Virtual SAN 延 伸 集 群 支持 的 延展 集群 配置 为 X+Y+1 (目前 要 求 X=Y) ， 其 中 X 是 数据 中 心 站 后 A 的 ESXi 主 机 数量 ，Y 是 数 


据 中 心 站 点 B 的 ESXi 主 机 数目 ，1 是 在 数据 中 心 站 点 C 的 见证 主机 ， 其 中 见证 主机 可 以 是 虚拟 机 ， 也 可 以 是 物理 机 。Virtual SAN 
延伸 集群 支持 的 最 小 配置 为 3 个 节点 (1+1+1) ， 最 大 配置 为 31 个 节操 (15+15+1) 。 


VMware Virtual SAN 延 伸 集 群 企 以 下 三 个 方面 不 同 于 VMware Virtual SAN 常 规 集群 : 
(1) 写 延 迟 


在 常规 的 Virtual SAN 集 群 中 ， 镜 像 写 入 通常 有 同等 的 写 延 迟 。Virtual SANZ, WEBER MART SEE. 
此 ， 写 操作 需要 通过 丫 点 间 的 链 路 ， 从 而 导致 上 点 间 延 迟 对 写 操 作 的 影响 。 站 点 延迟 越 高 ，Virtual SAN 延 伸 集 群 需要 化 越 长 时 
间 完 成 。 


(2) 读本 地 性 


常规 集群 读 操作 采用 对 对 象 的 镜像 副本 进行 轮 询 读 模式 。Virtual SAN 延 伸 集群 全 部 读 操作 都 来 自 本 地 站 点 的 单一 对 象 副 


(3) 故障 


在 故障 友 生 的 情况 下 ， 副 本 恢复 数据 需要 从 远程 站 点 该 存储 对 象 的 唯一 镜像 副本 获取 。 由 此 产生 的 结果 是 ， 所 有 副本 恢复 流 
量 需 要 通过 站 点 间 的 链 路 传输 。 此 外 ， 由 于 故障 节点 存储 的 该 对 象 的 本 地 副本 处 于 降级 状态 ， 所 有 对 该 对 象 的 读 操 作 都 被 重 定向 
到 远程 副本 ， 通 过 站 点 间 的 链 路 传输 。 


2.ROBO 


ROBO 是 Virtual SAN6.1 引 入 的 新 功能 ， 其 名 取 自 Remote Office/Branch Office 的 缩写 ， 顾 名 思 义 ， 其 主要 用 于 支持 小 型 
的 Virtual SAN 环 境 ， 没 有 最 小 配置 为 3 节点 的 限制 ， 两 个 物理 主机 就 能 构建 出 一 个 Virtual SAN 集 群 。ROBO 的 架构 与 延伸 集群 
类 似 ， 都 是 通过 使 用 虚拟 见证 主机 消除 了 需要 第 三 个 物理 节点 的 硬性 要 求 。 但 是 ， 与 延伸 集群 不 同 的 是 ，ROBO 要 求 这 两 台 物 理 
主机 在 地 理 位 置 上 必须 在 一 起 ， 可 通过 最 少 1Gbps 的 网 络 相连 。 


此 外 ， 由 于 ROBO 主 要 面 对 小 型 Virtual SAN 环 境 ， 其 上 的 负载 相对 于 延伸 集群 可 能 较 轻 ， 所 以 对 于 网 络 的 要 求 也 相应 放 
宽 ，ROBO 中 的 Virtual SAN 网 络 支 持 虚 拟 见 证 主机 和 ROBO 站 点 之 间 最 高 500 宣 秒 的 往返 时 延 以 及 最 小 1.5Mbps 的 市 完 。 另 外 ， 
在 许可 证 方面 ，Virtual SAN 也 提供 以 虚拟 机 为 单位 的 许可 证 ， 即 可 以 购买 应 用 于 最 多 25 个 虚拟 机 的 许可 证 ， 并 且 ， 这 个 许可 证 
可 以 跨 ROBO 站 点 使 用 ， 只 要 保证 应 用 此 许可 证 的 所 有 ROBO 集 群 中 虚拟 机 的 数量 加 起 来 不 超过 25 个 即 可 。 这 对 于 只 有 少量 虚拟 
机 需求 的 分 支 办 公 室 来 说 十 分 有 用 ， 相 比 于 以 CPU 计价 的 许可 证 可 以 帮助 用 户 进一步 降低 使 用 成 本 。 


2.24 Virtual SAN 存 储 虚 拟 化 业务 场景 


Virtual SAN 人 存储 虚拟 化 ， 适 用 于 各 行 各 业 的 客户 。 目 前 ， 国 内 外 已 有 大 量 客户 在 使 用 Virtual SAN ， 我 们 将 做 简单 介绍 。 
1. 金 融 行 业 


国内 外 都 有 排名 靠 前 的 银行 用 户 在 使 用 Virtual SAN。 国 内 的 银行 用 户 经 历 了 从 办 公 网 到 业务 网 ， 从 VDI、 研 上 友 测 试 到 生产 
系统 (至 少 有 4 个 不 同 的 生产 系统 ) 的 过 程 ， 并 已 通过 近 两 年 的 时 间 检 验 。 除 了 银行 、 保 险 等 金融 用 户 ，Virtual SAN 的 用 户 中 
还 有 世界 500 强 的 投资 集团 、 金 融 服务 提供 商 等 。 


2.1T 行 业 


全 球 排 名 靠 前 的 IT 公司 中 ， 至 少 有 8 家 购买 了 Virtual SAN， 其 中 不 过 大 家 耳熟能详 的 知名 公司 。 在 这 些 |T 公 司 中 ， 不 仅 有 拥 


有 全 部 存储 产品 线 的 IT 大 厂 ， 还 有 拥有 自己 先进 分 布 式 技术 的 互联 网 巨头 。 估 计 这 些 公 司 可 能 在 其 研发 、 测 试 ， 以 及 DevOps， 
甚至 生产 系统 中 部 署 了 Virtual SAN, 


3. 云 服务 提供 商 


在 国内 外 有 不 少 云 服务 行业 的 用 户 采 用 了 VMware vSphere 和 Virtual SAN 作 为 其 基础 架构 ， 包 括 一 些 做 公有 云 和 混合 云 的 
FAR. 


4. 电 信行 业 
国内 外 从 办 公 网 到 业务 网 ， 从 VDI 到 研 友 测试 生产 都 有 大 的 运营 商 成 为 Virtual SANAA. 


政府 、 教 育 (国内 外 有 很 多 教育 行业 的 Virtual SAN 案 例 ) 、 医 疗 、 汽 车 、 物 流 (至 少 有 两 家 全 球 知 名 的 公司 ) 、 电 视 、 食 
品 、 航 空 、 制 造 、 工 程 建筑 、 能 源 、 交 通 、 媒 体 等 越 来 越 多 的 行业 出 现 Virtual SAN 的 身影 。 


2.3 Virtual SAN 的 发 展 与 现状 

Virtual SAN 已 经 迭代 更 新 到 第 四 代 ， 即 Virtual SAN6.2。 通 过 三 次 主 版 本 迭代 ，Virtual SAN 已 经 成 为 一 球 非 常 成 熟 的 软件 
定义 存储 软件 。 在 此 ， 我 们 对 Virtual SAN 每 代 新 增 的 主要 功能 进行 简要 介绍 。 

1. 第 一 代 Virtual SAN: Virtual SAN5.5 


通常 我 们 将 Virtual SAN5.5 称 为 第 一 代 Virtual SAN ， 其 包含 了 作为 一 款 软件 定义 存储 产品 所 需 的 所 有 必要 功能 。Virtual 
SAN 之 后 版 本 的 所 有 更 新 迭代 都 基于 此 。 


Virtual SAN 是 第 一 款 设 计 用 于 vSphere 环 境 的 策略 驱动 型 存储 产品 
2. 第 二 代 Virtual SAN: Virtual SAN6.0 
Virtual SAN6.0 在 Virtual SAN5.5 的 基础 上 加 入 了 大 量 的 新 功能 与 增强 功能 ， 主 要 有 : 
` 混合 和 全 闪存 配置 : 支持 混合 染 构 和 全 闪存 架构 集群 。 
- 故障 域 (机 架 感知 ) : 支持 配置 故障 域 以 保护 主机 免 于 机 架 故 障 。 
- 主动 再 平衡 : 支持 触发 再 平衡 操作 ， 以 利用 新 添加 的 集群 存储 容量 
+ 磁盘 /磁盘 组 数据 迁 出 : 允许 在 删除 磁盘 或 磁盘 组 前 ， 迁 出 磁盘 /磁盘 组 中 的 数据 。 


" 新 的 磁盘 格式 : 支持 基于 Virsto 技 术 的 新 磁盘 虚拟 文件 格式 2.0。Virsto 技 术 是 基于 日 志 的 文件 系统 ， 可 为 每 个 Virtual SAN 
群 提供 高 度 可 扩展 的 快照 与 克隆 管理 支持 。 


量规 划 模型 : 在 创建 或 编辑 虚拟 机 存储 策略 时 ， 管 理 员 可 以 查看 数据 存储 利用 率 的 改变 。 


: 硬件 校 验 和 (Hardware Checksum) : 支持 在 硬件 层面 实现 数据 端 到 端 校 验 ， 检 测 并 解决 磁盘 错误 ， 从 而 提供 更 高 的 数据 
完 Ep o 


G&ATARZUIK A- (Health Service) : 支持 向 管理 员 提 供 排 错 与 运行 状况 ， 包 括 Vittual SAN 自 身 以 及 其 依赖 集群 、 网 络 、 存 储 


和 物理 磁盘 的 运行 状况 。 
3. 第 三 代 Virtual SAN: Virtual SAN6.1 
Virtual SAN6.1 在 Virtual SAN6.0 的 基础 上 引入 了 以 下 几 项 新 功能 与 增强 功能 


延伸 集群 (Stretched Cluster) : 支持 横 跨 两 个 地 理 位 置 的 延伸 集群 ， 以 保护 数据 免 受 站 点 故障 或 网 络 连接 丢失 的 影响 (PP 
客户 可 以 采用 Virtual SAN 构 建 双 活 数据 中 心 ) 。 


"ROBO: 支持 远程 分 支 机 构 的 2 节点 部 着 方 式 ， 通 过 利用 延伸 集群 的 功能 ， 把 见证 主机 放 在 中 央 数 据 中 心 ， 并 加 入 统一 管 
理 功能 ， 大 大 简化 了 分 支 机 构 的 Virtual SAN 部 署 难度 


- 优化 磁 瘟 组 声明 : 支持 在 创建 Vittual SAN 时 ， 为 磁盘 组 统一 声明 。 上 声明 磁盘 组 时 ， 可 以 根据 需要 声明 容量 层 与 缓存 层 。 
- 简化 全 闪存 配置 : 支持 直接 通过 vSphere Web Client 配 置 全 闪存 集群 。 

` 磁盘 格式 在 线 升 级 : 支持 通过 vSphere Web Client 升 级 到 新 的 磁盘 虚拟 文件 格式 2.0。 

: SMP-FT: 与 VvSphere 产 品 进一步 融合 ， 支 持 对 关键 部 性 能 应 用 的 保护 ， 以 实现 RPO/RTO 二 0。 

- 全 新 的 运行 状况 UI: 提供 了 集中 化 的 健康 管理 ， 支 持 延伸 集群 。 管 理 员 可 以 根据 需要 配置 定期 运行 状况 检查 。 

4. 第 四 代 Virtual SAN: Virtual SAN6.2 

Virtual SAN6.2 在 Virtual SAN6.1 的 基础 上 引入 了 以 下 几 项 新 功能 与 增强 功能 


` 去 重 和 压缩 : 支持 对 全 闪存 架构 的 Virtual SAN 进 行 数据 去 重 ， 并 采用 LZ4 算 法 对 刷新 到 容量 层 的 数据 进行 压缩 。 除 支持 标 
准 Vittual SAN 以 外 ， 同 时 支持 延伸 集群 与 ROBO 部 署 方式 。 


: RAID5/6:. 支持 通过 纠 删 码 (Erasure Coding) 对 Vittual SAN 数 据 进 络 的 RAID5/6。 用 户 可 以 根据 实际 需要 ， 在 
SPBM 中 针对 不 同 的 虚拟 机 对 象 实现 不 同 的 存储 策略 。 


: QoS (IOPS 限 制 值 ) : 支持 在 可 视 化 图 形 界 面 对 不 同 的 虚拟 机 对 象 设置 不 同 的 IOPS 限 制 。 


: 纯 IPv6 网 络 : 支持 在 纯 ITPv6 网 络 模式 下 运行 ， 所 有 网 络 通信 都 通过 IPv6 网 络 。 支 持 二 层 与 三 层 网 络 组 播 ， 可 以 通过 运行 状 
LUISEAT E 3845 7. 


: 软件 校 验 和 (Software Checksum) : 支持 在 软件 层面 实现 数据 端 到 端 校 验 ， 检 测 并 解决 磁盘 错误 ， 从 而 提供 更 高 的 数据 完 


` 运行 状况 检查 (Health Check) 集成 到 vSphere Web Client 内 : 相 比 以 往 的 插件 形式 ，Virtual SAN6.2 完 全 将 运行 状况 检查 集 
成 到 vSphere Web Client 内 。 支 持 SNMP、 客 户 脚本 ， 通 过 VvCenter Servet 警 告发 送 e-mail; 集群 级 别 的 概览 ， 查 看 虚拟 机 的 可 用 性 ; 
基于 时 间 的 警报 触发 机 制 ; 详细 的 存储 空间 报表 和 使 用 分 析 ; 支持 在 图 形 界 面 内 设置 主动 再 平衡 ; 过 性 能 的 靖 值 设置 警报 。 


24 ”实验 环境 搭建 


为 了 确保 读者 在 阅读 本 书 的 同时 可 以 进行 实际 操作 来 进一步 熟悉 Virtual SAN 环 境 ， 本 书 提供 一 套 建议 的 实验 环境 。 


1. 硬 件 配 置 
实验 环境 使 用 Dell Power Edge 服 务 器 、Cisco 交 换 机 等 设备 搭建 ， 详 细 配 置 如 表 2-3 所 示 。 


表 2-3 硬件 配置 列表 


Intel Xeon E5- Dell PERC 6*1 TB SAS HDD | 4* FIEW AMO 
Dell P Edge R630*4 32 GB 
nisi. 2670 v3*2 SE sa [ne H730 Mini | 2*800 GB SATA SSD | 1* 万 兆 以 太 网 口 
Cisco WS-C2960G*2 24 个 千 兆 以 太 网 口 


Dell PowerConnect 8132F 24 HJK SFP O 


其 中 两 人 台 干 兆 Cisco 交 换 机 用 于 管理 网 络 和 和 vMotion/FT 网 络 ，Dell 万 兆 交 换 机 用 于 Virtual SAN 流 量 网 络 。 如 果 读 者 手头 的 
硬件 与 此 类 似 ， 但 不 知道 是 否 在 硬件 兼容 性 列表 中 ， 可 以 前 往 VMware 官 网 查阅 Virtual SAN 兼 容 性 指南 。 有 关 如 何 使 用 硬件 兼 
容 性 指南 的 更 多 信息 ， 详 见 第 7 章 。 


2. 软 件 配置 
实验 环境 使 用 的 软件 版 本 如 表 2-4 所 示 。 


表 2-4 实验 环境 使 用 的 软件 版 本 


软 件 版 本 
VMware vCenter Server 以 及 ESXi 6.0 U2 
VMware Virtual SAN 6.2 


3. 拓 扑 结构 


为 满足 本 书 多 个 章节 的 实验 操作 要 求 ， 我 们 提供 一 套 较 为 完善 的 物理 网 络 拓扑 ， 如 图 2-4 所 示 。 读 者 可 以 根据 实际 需求 进行 


Virtual SAN 集 群 





172.20.11.51~54/29 


VSAN 网 络 








10.159.16.37~40/24 
管理 网 络 


172.16.10.1~4/24 
一 一 一 一 一 一 
VvMotion/FT 网 络 


图 2-4 物理 网 络 拓扑 结构 


4.IP 地 址 分 配 


实验 环境 使 用 4 人 台 ESXi 主 机 、vCenter Server 以 及 Virtual SAN 和 存储， 其 他 辅助 设备 包括 网 天 、DNS 服 务 器 ，IP 地 址 分 配 如 


表 2-5 所 示 。 


设 备 名 


ESXi 01 主机 


ESXi 02 主机 


ESXi 03 主机 


ESXi 04 主机 


vCenter Server 
网 关 


DNS 


5. 环 卉 搭建 建议 


流 


faran vo +. 
管理 流 Hi 


表 2-5 ”实验 环境 IP 地 址 分 配 


= 
EI 


Virtual SAN 流量 


zu as 上 
ES JE LAC E 


Virtual SAN 流量 


vMotion 1t 


管理 流量 


EE i: Ht 





Virtual SAN 流量 


vMotion i 


3 Er JH f 


VIL Ht 


迁移 流量 





Virtual SAN 流量 


vMotion 迁移 流量 


vCenter Server £f? 





» ] 平 全 


IP 地 址 


10.159. 


172.20. 


ET 4.105, 


10.153. 


LAU. 


142.15. 


10.159. 


Li 2.2, 


112.15. 


10.159. 


172.20. 


172.16. 


10.156. 


16.37/24 


11.51/24 


10.1/24 


16.38/24 


11.52/24 


10.2/24 


16.39/24 


11.53/24 


10.3/24 


16.40/24 


11.54/24 


10.4/24 


16.100/24 


AEIR ai AE G a 


10.142.7.1/10.142.7.2 


在 了 解 了 硬件 配置 、 拓 扑 结构 和 IP 地 址 分 配 后 ， 相 信 读 者 对 如 何 搭建 实验 环境 已 经 有 了 比较 清晰 的 认识 。 对 于 实验 环境 的 搭 


建 ， 本 书 给 出 以 下 建议 : 


1) CPU。 请 确保 CPU 可 以 完美 支持 虚拟 化 技术 ， 推 荐 使 用 机 架 式 或 塔 式 服 务 器 。 建 议 使 用 4 核 以 上 的 多 线程 CPU。 


2) 内 存 。 如 果 只 是 对 Virtual SAN 进 行 测试 ， 配 置 双 路 CPU 的 主机 推荐 使 用 16GB 以 上 的 内 存 。 如 果 用 于 生产 环节 ， 建 议 为 


双 路 CPU 的 主机 配置 32GB 以 上 的 内 存 。 


3) 网 卡 。 如 果 只 是 对 Virtual SAN 进 行 测试 ， 


万 兆 以 六 网 口 。 


25 本草 小 结 


VMware Virtual SAN 解 决 方案 和 和 VMware 软件 定义 网 络 、 软 件 定义 计算 共同 构成 了 VMWare 完 整 的 软件 定义 数据 中 心 。 


安装 ESXi 系 统 最 低 配 置 2 个 干 兆 以 太 网 口 即 可 。 如 果 用 于 生产 环节 ， 推 荐 使 用 


本 


章 对 软件 定义 数据 中 心 、 软 件 定义 存储 做 了 概述 ， 重 点 介绍 了 Virtual SAN 功 能 和 特性 及 其 发 展 与 现状 。 本 章 最 后 给 出 了 最 佳 实 
践 的 硬件 、 软 件 和 网 络 环境 ， 以 便 读 者 进行 Virtual SAN 实 验 。 


第 二 部 分 Virtual SAN 部 署 


第 3 章 ”配置 Virtual SAN 


WAGE ”基于 存储 策略 的 管理 


第 3 章 ”配置 Virtual SAN 


本 章 主 要 介绍 了 如 何 对 VMware Virtual SAN 进 行 配 置 ， 包 括 如 何 为 Virtual SAN 集 群 配置 网 络 、 磁 盘 组 以 及 故障 域 。 除 了 
介绍 标准 Virtual SAN 的 配置 ， 本 章 还 介绍 了 如 何 对 跨 站 点 的 Virtual SAN 进 行 配置 。 本 章 的 实验 演示 基于 全 闪存 阵列 集群 ， 混 合 
架构 Virtual SAN 集 群 的 创建 与 之 类 似 。 


3.1 Virtual SAN 配 置 要 求 

在 对 Virtual SAN 进 行 配 置 之 前 ， 确 保 您 的 物理 硬件 满足 要 求 。 不 满足 要 求 的 物理 硬件 在 实际 的 配置 使 用 过 程 中 可 能 会 造成 
Virtual SAN 的 性 能 “ 撒 宽 ”， 也 可 能 造成 各 种 异常 。 

1.Virtual SAN 硬 件 要 求 

(1) 存储 设备 要 求 


Virtual SAN 配 置 中 所 有 的 容量 设备 、 驱 动 程序 和 固件 版 本 都 必须 通过 认证 ， 并 列 在 VMware 兼 容 性 措 丙 的 “Virtual 
SAN” 部 分 ,特别 是 SSD、HDD 以 及 和 存储 控制 器 满足 VMware 兼 容 性 措 雨 要求。 


(2) AF 


Virtual SAN 的 内 存 要 求 取决 于 由 ESXi 管 理 程序 管理 的 磁盘 组 和 设备 的 数量 。 每 台 主 机 局 用 Virtual SAN 功 能 最 少 需 要 6GB 内 
仓 ， 而 局 用 最 多 5 个 磁盘 组 、 每 个 磁盘 组 上 最 多 7 个 容量 设备 则 必须 至 少 包 含 32GB 内 存 。 


(3) 内 存 引 导 设 备 


从 USB 设 备 或 SD 卡 引导 Virtual SAN 主 机 时 ， 引 导 设 备 的 大 小 必须 至 少 为 4GB。 如 果 ESXi 主 机 的 内 存 大 于 512GB， 则 建议 从 
SATADOM 或 磁盘 设备 引导 主机 。 从 SATADOM 设 备 引 导 Virtual SAN 主 机 后 ， 必 须 使 用 单 层 单元 (SLC) 设备 ， 并 且 引 导 设 备 
的 大 小 必须 至 少 为 16GB。 


2.Virtual SAN 集 群 要 求 
- Virtual SAN 集 群 配 置 中 所 有 容量 设备 、 驱 动 程序 和 固件 版 本 都 必须 通过 认证 ， 并 列 在 Vmware 兼 容 性 指南 中 。 
- Virtual SAN 集 群 必须 至 少 具 有 3 个 向 集群 提供 容量 的 主机 。 更 多 注意 事项 ， 请 参考 第 7 章 “ 设 计 Virtual SAN 方 案 o 
- 属于 茶 个 Virtual SAN 集 群 的 主机 不 能 加 入 其 他 集群 。 

3.Virtual SAN 软 件 要 求 


要 使 用 完整 的 Virtual SAN 功 能 集 ， 加 入 Virtual SAN 集 群 的 ESXi 主 机 必须 为 6.0 或 更 高 版 本 。 截 至 本 书 完稿 时 ，Virtual SAN 
的 最 新 版 本 为 6.2， 且 本 书 内 容 也 是 基于 6.2 版 本 撰写 的 。 因 此 建议 读者 安装 的 ESXi 版 本 为 6.0U2 及 以 上 。 


4.Virtual SAN 网 络 要 求 
Virtual SAN 是 一 种 分 布 式 的 存储 解决 方案 ， 它 非常 依赖 主机 之 间 的 通信 网络 。 因 此 ， 请 确保 满足 以 下 网 络 要 求 。 
(1) 网 卡 


要 配置 Virtual SAN 集 群 ， 在 混合 架构 的 Virtual SAN 中 ， 每 台 主 机 都 必须 至 少 配置 一 块 干 兆 以 太 网 卡 。VMware 推 荐 在 大 规 
模 Virtual SAN 部 署 中 使 用 10Gbps 网 络 以 获取 更 好 的 性 能 。 在 全 闪存 Virtual SAN 架 构 中 则 要 求 必 须 为 10Gbps 网 络 ， 不 支持 干 
兆 网 络 。 


(2) 交换 机 支持 多 播 


为 保证 Virtual SAN 主 机 之 间 可 以 正常 通信 ， 连 接 ESXi 主 机 的 物理 交换 机 和 路 由 器 上 必须 启用 二 层 或 三 层 的 多 播 流 量 。 如 果 
交换 机 或 路 由 器 不 支持 多 播 ，Virtual SAN 流 量 网 络 将 无 法 进行 多 播 通 信 ，Virtual SAN 集 群 将 无 法 局 用 。 建 议 不 要 使 用 那些 把 多 
播 流 量 转换 成 广播 流量 方式 传输 的 低 尊 交换 机 ， 而 使 用 真正 支持 多 播 流量 的 物理 交换 机 。 


3.2 ”配置 Virtual SAN 网 络 


本 节 将 演示 如 何 创 建 和 配置 Virtual SAN 网 络 。 在 配置 Virtual SAN 网 络 前 ， 请 确保 物理 网 络 满足 要 求 。Virtual SAN 集 群 中 
所 有 的 ESXi 主 机 都 需要 通过 Virtual SAN 网 络 通信 。 虽 然 Virtual SAN 网 络 支 持 运 行 在 vSphere 标 准 交 换 机 上 ， 但 是 为 启用 QoS 以 
向 Virtual SAN 网 络 流量 提供 网 络 VO 控 制 (NIOC) ， 我 们 强烈 建议 使 用 分 布 式 交换 机 (vDistributed Switch, VDS) 运行 
Virtual SAN 网 络 以 配置 相应 的 份额 、 预 留 和 QoSs。 上 此外， 购买 Virtual SAN 自 带 VDS 功 能 ， 这 意味 着 最 低 版 本 的 vSphere 同 样 支 
持 通 过 分 布 式 交换 机 部 署 Virtual SAN, 


3.2.1 创建 分 布 式 交换 机 


f£vCenter Server 上 创建 分 布 式 交 换 机 主要 分 为 以 下 四 个 步骤 。 


1) 登录 VMware vSphere Web Client， 在 Inventories 一 Networking (清单 一 网 络 ) 页 面 ， 右 击 数据 中 心 。 在 
Distributed Switch 选项 下 ， 选 择 “New Distributed Switch" 创建 新 的 分 布 式 交换 机 。 在 Name 中 对 新 建 的 分 布 式 交 换 机 进行 
命名 ， 如 图 3-1 所 示 ， 蛙 击 Next。 


c» New Distributed Switch 


1 Name and location Name: VDS-VSAN| 


2 Select version Location: DataCenter 
3 Edit settings 


4 Ready to complete 


Cancel 





图 3-1 ”对 分 布 式 交 换 机 进行 命名 


2) 在 Select version 栏 ， 选 择 需 要 创建 的 分 布 式 交 换 机 的 具体 版 本 。 根 据 实 际 情况 进行 选择 ， 由 于 使 用 的 ESXi 主 机 是 
6.0U2， 此 处 选择 Distributed Switch: 6.0.0， 如 图 3-2 所 示 ， 单 击 Next。 


六 New Distributed Switch 


Select version 
Specify a distributed switch version. 


w 1 Name and location 


2 Select version 


3 Edit settings (©) Distributed switch: 6.0.0 
This version is compatible with VMware ESXi version 5.0 and later. The following new features 
are available: Network I/O Control version 3, and IGMP/MLD snooping. 


( ) Distributed switch: 5.5.0 
This version is compatible with VMware ESXi version 5.5 and later. The following new features 
are available: Traffic Filtering and Marking, and enhanced LACP support. 


4 Readyto complete 


( ) Distributed switch: 5.1.0 


This version is compatible with VMware ESXi version 5.1 and later. The following new features 
are available: Management Network Rollback and Recovery, Health Check, Enhanced Port 
Mirroring, and LACP. 


( ) Distributed switch: 5.0.0 
This version is compatible with VMware ESXi version 5.0 and later. The following new features 
are available: User-defined network resource pools in Network I/O Control, NetFlow, and Port 
Mirroring. 


Cancel 





图 3-2 ”选择 分 布 式 交换 机 版 本 


3) 在 Edit settings 栏 ， 可 以 对 分 布 式 交 换 机 设置 上 行 链 路 的 数量 ， 上 行 链 路 的 数量 一 般 为 主机 物理 网 卡 的 最 大 数量 。 这 里 
我 们 将 上 行 链 路 的 数量 设置 为 3， 启 用 Network I/O Control， 勾 选 “Create a default port group” 创建 默认 端口 组 用 于 
Virtual SAN 流 量 ， 如 图 3-3 所 示 ， 对 闻 口 组 进行 命名 ， 单 击 Next。 


Edit settings 


w' 1 Name and location 
Specify number of uplink ports, resource allocation and default port group. 


Vv 2 Select version 


3 Edit Settings u 
Number of uplinks: 3 iE 


4 Readyto complete 





Network I/O Control: [Enabled — |») 


Default port group: [V Create a default port group 


Port group name: VSAN-Traffic 


Cancel 





图 3-3 ”创建 默认 分 布 式 端口 组 并 命名 
4) 在 Ready to complete 页 面 ， 查 看 新 建 分 布 式 交 换 机 的 具体 设置 ， 确 认 检验 正确 后 ， 单 击 Finish 完 成 配置 。 


New Distributed Switch 


Ready to complete 


w' 1 Name and location 
Review your settings selections before finishing the wizard 


Vv 2 Select version 


v 3 Edit settings Name: VDS-VSAN 


4 Ready to complete Version: 6.0.0 


Number of uplinks: 3 
Network IO Control: Enabled 
Default port group: VSAN-Traffic 


Suggested next actions 


名 New Distributed Port Group 
i Add and Manage Hosts 


Q These actions will be available in the Actions menu of the new distributed switch. 


Finish Cancel 





图 3-4 Ready to complete 


在 分 布 式 交换 机 创建 完成 后 ， 可 以 在 Networking 中 看 到 新 建 的 分 布 式 交 换 机 和 其 创建 的 默认 端口 组 。 如 图 3-5 所 示 。 


3.22 BUE fox aci m LB 


具体 操作 步骤 如 下 : 


1) 在 Inventories 一 Networking (清单 一 网 络 ) 页 面 ， 可 以 查看 到 新 建 的 分 布 式 交 换 机 ， 选 中 创建 的 默认 端口 组 ， 右 击 选 
择 Edit Settings 进 行 编辑 ， 如 图 3-5 所 示 。 


v | DataCenter 
VM Network 


v G3 VDS-VSAN 
Sal Dswitch-VSAnN- DVUpIInks- 44 

© VSAN Traffic _ > 

2. Actions - VSAN Traffic m 
-+ Edit Settings... 








Export Configuration... 
Restore Configuration... 


Rename... 

Tags > 
Add Permission... 

Alarms > 


3€ Delete 





图 3-5 ”分布 式 端口 组 相关 属性 


2) 在 编辑 页 面 ， 单 击 “Teaming and Failover”， 进 行 如 下 配置 ， 将 上 行 链 路 中 的 Uplink1 和 Uplink2 作 为 活跃 uplink， 将 
Uplink3 作 为 不 使 用 的 uplink。 单 击 OK， 完 成 设置 。 管 理 员 可 以 根据 实际 需要 对 Uplink 的 配置 进行 相应 更 改 。 


£s VSAN-Traffic - Edit Settings 





General Load balancing: ! Route based on originating virtual port € 


Network failure detection: — | Link status only 





Advanced 
Security 





Notify switches: Yes non 











Traffic shapin . 
zu Failback: Yes 
= 
VLAN 


eaming and failover Failover order 
Monitoring 
Traffic filtering and marking Active uplinks 


Miscellaneous Uplink 2 
Uplink 1 

standby uplinks 

Unused uplinks 

Uplink 3 


Select active and standby uplinks. During a failover, standby uplinks activate in the order specified above. 





图 3-6 ”对 分 布 式 端口 组 的 上 行 链 路 进行 配置 


3.2[3 “为 分 布 式 交 换 机 添加 主机 


为 分 布 式 交换 机 添加 主机 的 具体 操作 步骤 如 下 : 


1) 在 Inventories 一 Networking (清单 一 网 络 ) 页 面 ， 右 击 分 布 式 交换 机 ， 单 击 Add and Manage Hosts (添加 和 管理 主 
机 ) 为 分 布 式 交 换 机 添加 主机 ， 如 图 3-7 所 示 。 


iq DataCenter 
€) VM Network 


5 Distributed Port Group 
:也 Add and Manage Hosts... 


2. Migrate VM to Another Network... 
Upgrade 
Settings 
Move To... 


Rename.... 
Tags 


Alarms 





Delete 
图 3-7 ”为 分 布 式 交换 机 添加 主机 


2) 在 Select task 栏 ， 选 择 Add hosts 添 加 主机 ， 如 图 3-8 所 示 ， 单 击 Next。 


3) 在 Select hosts 栏 ， 单 击 New hosts 对 主机 进行 添加 。 在 添加 完 主 机 后 ， 记 得 勾 选 页 面 下 方 的 “Configure identical 
network settings on multiple hosts (template mode) ”。 该 选项 可 以 在 添加 多 台 主 机 时 ， 选 择 一 台 主 机 作为 模板 主机 进行 
配置 ， 并 将 配置 文件 作为 模板 应 用 到 所 有 添加 的 新 主机 上 。 通 过 勾 选 模板 模式 ， 可 以 大 大 减少 在 配置 过 程 中 的 重复 操作 ， 减 轻 管 
理 员 的 配置 压力 。 如 图 3-9 所 示 ， 单 击 Next。 


Stet task 
Select a task to perform on this distributed switch. 


2 Select hosts 


Select network adapter © Add hosts 


tasks Add new hosts to this distributed switch. 
4 Manage physical network 
adapters © Manage host networking 


Manage VMkernel network 
adapters 


3 


Manage networking of hosts attached to this distributed switch. 


( ) Remove hosts 
6 Analyze impact Remove hosts from this distributed switch. 


7 Ready to complete 


5 


(C) Add host and manage host networking (advanced) 
Add new hosts and manage networking of hosts already attached to this distributed switch. Use 
this option to unify the network configuration of new and existing hosts. 





图 3-8 添加 主机 


1 Selecttask Select hosts 


Select hosts to add to this distributed switch. 


3 Select template host 


Select network adapter 
tasks Host 


Manage physical network b (New) 10.159.16.37 Connected 


es @ (New) 10.159.16.38 Connected 
Manage VMkernel network 
adapters (template mode) (New) 10.159.16.39 Connected 


7 Analyze impact 
8 Ready to complete 


中 New hosts... | XE Remove 


4 Host Status 


5 


Configure identical network settings on multiple hosts (template mode). o 


(Back J| Wer J| rmn | 





图 3-9 ”以 模板 模式 对 主机 进行 配置 


4) 在 Select template host 栏 ， 选 中 第 一 台 主 机 作为 模板 主机 进行 配置 ， 如 图 3-10 所 示 ， 单 击 Next。 


v 1 Select task 
Vv 2 Select hosts 


3 Select template host 


4 Select network adapter 
tasks 


Manage physical network 
adapters (template mode) 


Manage VMkernel network 
adapters (template mode) 


7 Analyze impact 


5) 在 Select network adapter tasksf=, i 


adapters (template mode) 


6) f£Manage physical network adapters (template mode) 栏 ， 单 击 页 面 上 方 的 Assign uplink， 将 ESXi 主 机 的 第 二 块 


Select template host 
Select a template hostto apply its network configuration on this switch to the other hosts. 


Host 1 a Physical Adapters - On This Switch / All 


Services (10.159.16.37) 
Fault Tolerance logging: 
Management traffic: 
vSphere Replication traffic: 
vMotion traffic: 

Virtual SAN traffic: 


图 3-10 ”选择 模板 主机 


选择 需要 对 网 络 适 


行 的 操作 。 在 此 ， 我 们 只 勾 选 


VMkernel Adapters - On This Switch / All 
W GJ 10.159.16.37 (template) — 0/4 0/1 
O ® 10.159.16.38 0/4 011 
Og 10.159.16.39 0/4 0/1 





Cancel 


"Manage physical 


将 添加 新 主机 的 物理 网 卡 添 加 到 分 布 式 交 换 机 上 ， 如 图 3-11 所 示 ， 单 击 Next。 


物理 网 卡 vmnic1 分 配给 分 布 式 交换 机 。 由 于 我 们 在 创建 分 布 式 交换 机 时 ， 创 建 了 3 个 上 行 链 路 ， 在 此 ， 我 们 将 Uplink2 分 配给 


如 图 3-12 所 示 。 


vmnict, 


w' 1 Select task 
w' 2 Select hosts 
w' 3 Select template host 


Select network adapter 


4 tasks 


Manage physical network 
adapters (template mode) 


6 Analyze impact 


7 Ready to complete 


Select network adapter tasks 
Select the network adapter tasks to perform. 


[v] Manage physical adapters (template mode) 
Add physical network adapters to the distributed switch, assign them to uplinks, or remove 
existing ones. 


[ Manage VMkernel adapters (template mode) 
Add VMkemel network adapters to this distributed switch, migrate them from other switches, 
assign them to distributed port groups, configure their settings, or remove existing ones. 


[ ]Migrate virtual machine networking 
Migrate VM network adapters by assigning them to distributed port groups on the distributed 
switch. 


[ ] Manage advanced host settings 
Set the number of ports per legacy host proxy switch. 


Sample distributed switch 


VMkernel port group 


v VMkernel ports 
im v mk 


. Uplink port group 
v Uplink 
imi vmnic 





VM port group 
v Virtual Machines 


vm 


图 3-11 网 络 适 配器 配置 


Manage physical 
adapters 





4 Solect task Manage physical network adapters (template mode) 


Add or remove physical network adapters to this distributed switch. 
2 Select hosts 


3 Select template host @ Configure or review physical network adapter assignments for the template host in this switch. 


4 Select network adapter . . . . 
tasks Ger Assign uplink wy Reset changes @ View settings 


5 Manage physical network Host/Physical Network Adapters 14A In Use by Switch Uplink Uplink Port Group 
adapters (template mode) 


6 Analyze Impact v g 10.159.16.37 (template) 
+ Onthis switch 
vmnic1 (Assigned) Uplink 2 VDS-VSAN-DVUplinks-... 
v Onother switches/unclaimed 
vmnicO 
vmnic2 vSwitchÜ 


7 Ready to complete 


© Apply the physical network adapter assignments on this switch for the template host to all hosts. 


ub Apply to all wy Reset all 
Host/Physical Network Adapters 14 In Use by Switch Uplink Port Group 
+ Yj 10.159.16.38 
» Onthis switch 
vmnic1 (Assigned) -- Uplink 2 VDS-VSAN-DVUhplinks-... 
v On other switches/unclaimed 
vmnicü -- 
vmnic2 vSwitchÜ 





图 3-12 ”管理 主机 的 物理 网 络 适 配器 


在 完成 以 上 操作 后 ， 单 击 页 面 下 方 的 Apply to all， 将 对 模板 主机 进行 的 配置 应 用 到 所 有 添加 的 新 主机 上 。 如 图 3-12 所 示 ， 
单 击 Next。 


7) 在 Analyze impact 栏 ， 系 统 会 分 析 管 理 员 执 行 的 操作 是 否 会 对 现 有 了 网络 造 成 影响 。 如 图 3-13 所 示 ， 如 果 没 有 影响 ， 单 击 
Next, 


8) 在 Ready to complete 栏 ， 可 以 查看 对 分 布 式 交换 机 添加 主机 进行 的 设置 。 如 图 3-14 所 示 ， 确 认 检 验 正 确 后 ， 单 击 
Finish 完 成 配置 。 


(> Add and Manage Hosts 


1 Select task Analyze impact 


Review the impact this configuration change might have on some network dependent services. 
2 Select hosts 


3 Select template host Overall impact status: @ No impact 


4 Select network adapter 
tasks Host / Impact Analysis per Service La Status 


Manage physical network v i 10.159.16.37 
adapters (template mode) : 
iSCSI © No impact 


6 Analyze impact 
«Bg 101591636 


7 Readyto complete 


iSCSI © No impact 
v g 10.159.16.39 
iSCSI © No impact 


No items selected 





图 3-13 ”影响 分 析 


(> Add and Manage Hosts 


w' 1 Select task Ready to complete 


Review your settings selections before finishing the wizard. 
w 2 Select hosts 


w' 3 Select template host 


v 4 Select network adapter 
tasks 


Number of managed hosts 
Hosts to add: 3 


v 5 Manage physical network Number of network adapters for update 
adapters (template mode) 


v 6 Analyze impact 


7 Ready to complete 


Physical network adapters: 3 


Cancel 





图 3-14 Ready to complete 


3.24 为 Virtual SAN 添 加 VMKernel 适 配器 


里 然 在 小 规模 虚拟 化 环境 部 署 中 ， 不 同 流量 可 以 共享 相同 的 Uplink， 但 是 为 了 便于 对 不 同类 型 的 网 络 流量 进行 QoS 网 络 |/O 
控制 ， 我 们 需要 为 Virtual SAN 创 建 专 用 的 VMkernel 适 配器 ， 具 体操 作 步 又 如 下 : 


1) 单 击 Add and Manage Hosts 对 分 布 式 交换 机 中 的 主机 进行 管理 。 


2) Select task 栏 ， 选 择 Manage host networking (管理 主机 网 络 ) 对 分 布 式 交换 机 中 的 主机 网 络 进行 管理 ， 如 图 3-15 
所 示 ， 单 击 Next。 


(> Add and Manage Hosts 


1 Select task Select task 


Select a task to perform on this distributed switch. 
2 Select hosts 


Select network adapter ^5 Add hosts 


tasks Add new hosts to this distributed switch. 


, Manage physical network 
adapters (*) Manage host networking 


Manage VMkernel network Manage networking of hosts attached to this distributed switch. 


adapters ( ) Remove hosts 


6 Analyze impact Remove hosts from this distributed switch. 


7 Readyto complete 


( ) Add host and manage host networking (advanced) 
Add new hosts and manage networking of hosts already attached to this distributed switch. Use 
this option to unify the network configuration of new and existing hosts. 


Cancel 





图 3-15 ”管理 主机 网 络 


3) 在 Select hosts 栏 ， 单 击 Attached hosts (添加 主机 ) 对 需要 管理 的 主机 进行 添加 。 在 添加 完 主 机 后 ， 记 得 勾 选 页 面 下 
FAY “Configure identical network settings on multiple hosts (template mode) ”。 如 图 3-16 所 示 ， 单 击 Next。 


w' 1 Select task Select hosts 


Select hosts to manage their networking on this distributed switch. 
2 Select hosts 


3 Select template host 


中 Attached hosts... 


Select network adapter 
tasks Host Host Status 
5 Manage physical network 日 10.159.16.37 Connected 
adapters (template mode 
pisei ; B 10.159.16.38 Connected 


Manage VMkernel network 
adapters (template mode) B] 10.159.16.39 Connected 


4 


7 Analyze impact 


8 Ready to complete 


[v] Configure identical network settings on multiple hosts (template mode). O 


Cancel 





图 3-16 ”以 模板 模式 对 主机 进行 配置 


4) 在 Select network adapter tasks 栏 ， 选 择 需要 对 网 络 适 配器 进行 的 操作 。 勾 选 Manage VMkernel 
adapters (template mode) ， 对 分 布 式 交换 机 中 的 VMkernel 进 行 管理 。 如 图 3-17 所 示 ， 单 击 Next。 


5) 在 Manage VMkernel network adapters (template mode) 栏 ， 单 击 页 面 上 方 的 New adapter， 在 ESXi 主 机 上 为 分 
布 式 交换 机 创建 一 个 新 的 VMkernel 网 络 适配器 ， 如 图 3-18 所 示 。 


w' 1 Select task Select network adapter tasks 


Select the network adapter tasks to perform. 
w 2 Select hosts 


w^ 3 Select template host [ ] Manage physical adapters (template mode) 


" Select network adapter Add physical network adapters to the distributed switch, assign them to uplinks, or remove 
tasks existing ones. 


Manage VMkernel network 
adapters (template mode) [v] Manage VMkernel adapters (template mode) 
: Add VMkernel network adapters to this distributed switch, migrate them from other switches, 
6 Analyze impact | i i ims 
assign them to distributed port groups, configure their settings, or remove existing ones. 
7 Readyto complete 
xd j [_] Migrate virtual machine networking 


Migrate VM network adapters by assigning them to distributed port groups on the distributed 
switch. 


[ ]Manage advanced host settings 


Setthe number of ports per legacy host proxy switch. 


Sample distributed switch 


SERE 
Manage VMkernel | 
adapters VMkernel port group Uplink port group 


v VMkernel ports | M | | v Uplink 
Ral vmk | | Iv mnic 





VM port group 
v Virtual Machines 


é vm 





Cancel 





图 3-17 管理 VMkernel 适 配器 


(> Add and Manage Hosts 


w' 1 Select task 
w' 2 Select hosts 


Vv 3 Select template host 


v 4 Select network adapter 
tasks 


5 Manage VMkernel network 
adapters (template mode) 
6 Analyze impact 


7 Ready to complete 


6) 在 弹出 的 页 面 上 ， 选 择 Select an existing network， 单 击 Browse 选 择 现 有 的 分 布 式 辛 口 (之 前 创建 的 分 布 式 端口 ) . 


如 图 3-19 所 示 ， 曲 击 Next。 


[] 10.159.16.37 - Add Networking 


1 Select target device 


2 Connection settings 
2a Port properties 
2b IPv4 settings 


3 Readyto complete 


7) 在 Port properties#, 
Virtual SAN 流 量 。 


Settings 选 择 |Pv4， 单 击 Next。 








Manage VMkernel network adapters (template mode) 


Manage and assign VMkernel network adapters to the distributed switch. 


D Configure or review the settings of the VMkernel network adapters of the template host on this switch. 


中 New adapter 
Host/VMkernel Network Adapters 
~ g 10.159.16.37 (template) 
On this switch 


1a In Use by Switch Source Port Group Destination Port Group 


» Onother switches 


园 vmk0 vSwitchü Management Network Do not migrate 


© Apply the settings ofthe VMkernel network adapters of the template host on this switch to all hosts. 


iL Apply to all WA Reset all 
Host/VMkernel Network Adapters Destination Port 6G... 
~ 日 10.159.16.38 


On this switch 


14A In Use by Switch Source Port Group 


» On other switches 
ia vmko 
v 目 10.159.16.39 


On thie euviteh 


vSwitchÜ Management Network Do not migrate 


x 


pp 


图 3-18 ”管理 主机 的 VMkernel 网 络 适 配 


Select target device 
Select a target device for the new connection. 


(e) Select an existing network 


Browse... 


Select an existing standard switch 


New standard switch 


Cancel 


图 3-19 ”选择 分 配 VMkernel 的 分 布 式 端口 组 


对 VM kernel 端 口 进 行 具体 设置 。 在 Available services}, 4Ji "Virtual SAN traffic” 以 启用 
如 图 3-20 所 示 ， 可 以 看 到 VMkernel 新 口 的 网 络 标 签 默 认 已 经 分 配 为 “VSAN-Traffic (VDS-VSAN) " , IP 


日 10.159.16.37 - Add Networking 


Port properties 


v 1 Select target device 
Specify VMkernel port settings. 


2 Connection settings 


2a Port properties VMkernel port settings 


2b IPv4 settings 
Network label: 
3 Readyto complete 





IP settings: | IPv4 


TCP/IP stack: Default 


Available services 


Enable services: [_] vMotion traffic 
[ ] Provisioning traffic 
[_] Fault Tolerance logging 
[ ] Management traffic 
[ ]vSphere Replication traffic 
[ ]vSphere Replication NFC traffic 
[v] Virtual SAN traffic 


Cancel 





图 3-20 ”配置 VMkernel 端 口 属性 


Qum 在 Vittual SAN6.2 F , Virtual SAN 已 经 可 以 支持 在 纯 IPv6 网 络 下 运行 ， 所 有 的 网 络 通信 都 可 以 通过 IPv6 网 络 支持 L2 
需求 。 


或 13 多 播 ， 可 通过 Health UI 进 行 管理 /监控 ， 满 足 需 要 往 IPv6 网 络 迁 移 的 用 户 


8) 在 IPv4settings 中 ， 对 VMkernel 适 配器 的 IP 地 址 进行 设置 。 为 了 确保 Virtual SAN 网 络 可 以 在 不 受 DHCP 影 响 的 情况 下 
可 靠 运 行 ， 建 议 选 择 Use static IPv4settings 以 使 用 静 仿 IP 地 址 ， 输 入 分 配给 Virtual SAN VM kernel 适 配器 的 IP。 如 图 3-21 所 


示 ， 单 击 Next。 


日 10.159.16.37 - Add Networking 


IPv4 settings 


w' 1 Select target device 
Specify VMkernel IPv4 settings. 


2 Connection settings 


wv 2a Port properties () Obtain IPv4 settings automatically 


2b IPv4 settings (*) Use static IPv4 settings 


3 Ready to complete IPv4 address: 172. 20.11. 


Subnet mask 255.255.255. 0 


Default gateway for IPv4: 10.159.31.253 


DNS server addresses: 10.142.7.1 


10.142.7.2 


Cancel 





图 3-21 为 YMkernel 适 配器 分 配 IP 地 址 


9) 在 Ready to complete 中 ， 可 以 检查 之 前 通过 向 导 选 择 的 每 个 选项 。 如 图 3-22 所 示 ， 确 认 配 置 正确 后 ， 单 击 Finish 完 成 


Bg. 


日 10.159.16.37 - Add Networking 


w^ 1 Select target device Ready to complete 
Review your settings selections before finishing the wizard. 
2 Connection settings 
w 2a Port properties Distributed port group: VSAN-Traffic 
Vv 2b IPv4 settings Distributed switch: VDS-VSAN 
T TCP/IP stack Default 
vMotion traffic: Disabled 
Provisioning traffic: Disabled 
Fault Tolerance logging: Disabled 
Management traffic: Disabled 
vSphere Replication traffic: Disabled 
vSphere Replication NF C traffic: Disabled 
Virtual SAN traffic: Enabled 
IPv4 settings 
IPv4 address: 172.20.11.51 (static) 
Subnet mask 255.255.255.0 





Finish Cancel | 


图 3-22 Ready to complete 


10) 配置 完成 后 ， 页 面 会 自动 跳 转 到 Manage VMkernel network adapters (template mode) 栏 。 单 击 页 面 下 方 的 
Apply to all， 系 统 会 弹出 询问 页 面 ， 由 于 之 前 给 第 一 台 ESXi 主 机 分 配 了 VMkernel IP 地 址 ， 因 此 需要 补充 其 他 两 台 ESXi 主 机 的 
VMkernel IP 地 址 。 如 图 3-23 所 示 ， 输 入 分 配给 其 他 两 台 主 机 的 VMkernel IP 地 址 ， 单 击 OK 完 成 配置 。 


4) 10.159.16.37 - Apply VMkernel network adapter configuration to other hosts 


@ The other hosts will receive the VMkernel network adapter configuration of the host on this switch. 


The following YMkernel network adapters on the template host use static IP addresses. In the IP 
(9 settings for each adapter, enter as many IP addresses as the number of hosts on which the 
template settings will be applied. 


vmk1 (new) 
Port group: VSAN-Traffic 
Services: Virtual SAN 


IPv4 settings ofthe template adapter: 172.20.11.51 / 255.255.255.0 


IPv4 addresses (2 required): 172.20.11.52,172.20.11.53| oO 





图 3-23 ”给 其 他 主机 的 VMkernel 端 口 分 配 IP 地 址 


如 图 3-24 所 示 ， 主 机 中 新 添加 了 一 块 名 为 vrmk1 的 VMkernel， 其 被 分 配给 分 布 式 交换 机 。 其 余 两 台 主 机 也 根据 
10.159.16.37 的 模板 分 配 了 相应 的 VMkernel。 


1 Select task 
2 Select hosts 


3 Select template host 


Select network adapter 


4 tasks 


5 Manage VMkernel network 
adapters (template mode) 


6 Analyze impact 
7 Ready to complete 


11) Analyze impact 栏 ， 系 统 会 分 析 管 理 员 执 行 的 操作 是 人 否 会 对 现 有 网 络 造 


+Next, 


(> Add and Manage Hosts 


1 Select task 
2 Select hosts 


3 Select template host 


Select network adapter 
tasks 


5 Manage VMkernel network 
adapters (template mode) 


6 Analyze impact 


7 Ready to complete 


4 








Manage VMkernel network adapters (template mode) 
Manage and assign VMkernel network adapters to the distributed switch. 


D Configure or review the settings of the VMkernel network adapters of the template host on this switch. 


十 New adapter w Reset changes 
Host/VMkernel Network Adapters 
~ 日 10.159.16.37 (template) 


» Onthis switch 


14A In Use by Switch Source Port Group Destination Port Group 


ju vmk1 (new) VDS-VSAN VSAN-Traffic 
On other switches 
vmk0ü vSwitchÜ 


Management Network Do not migrate 


e Apply the settings of the VMkernel network adapters ofthe template host on this switch to all hosts. 


4) Apply to all if Reset all 


Host/VMkernel Network Adapters 
~ 日 10.159.15.38 
» Onthis switch 


14A In Use by Switch Source Port Group Destination Port G... 


vmk1 (new) VDS-VSAN VSAN-Traffic 
» On other switches 
vmkü 


f14n4£&n4G n 


vSwitchÜ Management Network Do not migrate 


Cancel 


图 3-24 ”管理 VMkernel 网 络 适 配器 


影响 。 如 图 3-25 所 示 ， 如 果 没 有 影响 ， 单 


Analyze impact 
Review the impact this configuration change might have on some network dependent services. 


Overall impact status: @ No impact 


Host / Impact Analysis per Service 
~ 轩 10.159.16.37 
iSCSI 
~ 国 10.159.16.38 
iSCSI 
~ | 10.159.16.39 
iSCSI 


14A Status 


© No impact 


© No impact 


© No impact 


No items selected 


Cancel 


图 3-25 “影响 分 析 


12) 在 Ready to complete 栏 ， 可 以 检查 之 前 通过 向 导 对 分 布 式 交换 机 设置 进行 的 修改 。 如 图 3-26 所 示 ， 确 认 正 确 后 ， 单 


击 Finish 完 成 配置 。 


(> Add and Manage Hosts 


1 Select task Ready to complete 


Review your settings selections before finishing the wizard. 
2 Select hosts 


3 Select template host 


Select network adapter 
4 tasks Hosts to update: 3 


Number of managed hosts 


Manage VMkernel network Number of network adapters for update 
adapters (template mode) 


w^ 6 Analyze impact 


7 Ready to complete 


New VMkernel network adapters: 3 





Next Finish Cancel 
图 3-26 Ready to complete 


如 图 3-27 所 示 ， 在 分 布 式 交换 机 的 Manage 一 Settings 一 Topology (管理 一 设置 一 拓扑 ) 中 ， 可 以 看 到 该 分 布 式 交换 机 拥 
有 3 个 上 行 链 路 ， 其 分 布 式 端口 组 VSAN-Traffic 上 配置 了 3 个 VMkernel 端 口 ， 分 别 隶属 于 3 人 台 ESXi 主 机 。 由 于 之 前 在 配置 物理 网 
络 时 ， 我 们 只 将 vmnic1 分 配给 Uplink2， 因 此 VSAN-Traffic 只 通过 Uplink2 进 行 通信 。 


Gm VDS.VSAN ^ Actions ~ 


Getting Started Summary Monitor Manage Related Objects 





"Settings | Alarm Definitions Tags | Permissions | Network Protocol Profiles | Ports | Resource Allocation 





« 2 ĘẸ @ o (overview) 
Properties 


Topology 2 VSAN-Traffic | | [v VDS-VSAN-DVUplinks-64 


LACP VLAN ID: -- Uplink 1 (0 NIC Adapters) 
Private VLAN Y VMkernel Ports (3) P Uplink 2 (3 NIC Adapters) 


vmk1 : 172.20.11.51 Uplink 3 (0 NIC Adapters) 
vmk1 : 172.20.11.52 | l 


Port mirroring vmk1 : 172.20.11.53 


NetFlow 


Health check | Virtual Machines (0) 





图 3-27 ”分 布 式 交换 机 设置 拓扑 图 


3.3 ”配置 Virtual SAN 集 群 


3.3.1 Virtual SAN 标 准 集群 配置 需求 


在 创建 Virtual SAN 集 群 前 ， 请 确保 满足 以 下 几 点 要 求 : 
- 所 有 主机 上 的 硬件 都 必须 在 VMware 的 Virtual SAN 兼 容 性 列表 中 。 
: 所 有 的 主机 都 必须 配置 Vittual SAN 网 络 。 


需要 至 少 3 台 ESXi 主 机 ， 每 台 主 机 上 配置 满足 要 求 的 缓存 盘 和 容量 盘 ， 以 确保 这 些 主机 可 以 加 入 Vitrtual SAN 人 集群。 每 人 台 主 
机 至 少 需要 配置 一 块 满足 硬件 兼容 性 列表 的 缓存 盘 和 一 块 容量 盘 ， 以 此 来 创建 磁盘 组 。 


3.32 Virual SAN 集 群 特性 


在 创建 集群 并 局 用 Virtual SAN 之 前 ， 请 确保 了 解 以 下 几 个 Virual SAN 集 群 特性 。 
- Virtual SAN i$ vCenter Setvet 居 用 和 管理 ， 管 理 员 可 以 使 用 一 个 vCenhtet Setvet 管 理 多 个 Vittual SAN 集 群 。 


在 创建 Virtual SANG, Virtual SAN 将 占用 指定 设备 的 所 有 空间 《包括 闪存 缓存 和 容量 设备 ) ， 并 且 不 会 与 其 他 功能 共享 设 


- Virtual SAN 集 群 可 以 包含 具有 /不 具有 容量 设备 的 主机 ,但 最 低 要 求 市 有 3 个 带 容 量 设备 的 主机 。 
. 只 有 本 地 容量 设备 或 直接 连接 的 容量 设备 能 够 加 入 Virtual SAN 集 群 。Virtual SAN 无 法 占用 其 他 连接 到 集群 的 外 部 存储 ， 如 


SAN 或 NAS。 


3.3.3 ”创建 集群 


本 节 将 向 读者 演示 如 何 创建 vSphere 集 群 ， 如 果 环 境 中 已 有 可 用 于 Virtual SAN 的 集群 ， 可 跳 过 该 小 节 。 


1) 在 Inventory 一 Hosts and Clusters (清单 一 主机 和 集群 ) 中 ， 右 击 数据 中 心 ， 如 图 3-28 所 示 ， 选 择 New Cluster 创 建新 


集群 。 
2) 对 新 建 Virtual SAN 集 群 进行 命名 ， 勾 选 “Turn On" 局 用 DRS (P) 。 如 图 3-29 所 示 ， 单 击 OK。 


3) 将 构建 Virtual SAN 集 群 的 主机 加 入 新 创建 的 Virtual SAN 集 群 中 。 如 图 3-30 所 示 ， 右 击 新建 的 Virtual SAN 集 群 ， 单 击 
Move Hosts into Cluster (将 主机 移入 集群 ) 将 主机 添加 到 集群 中 。 


4) 在 Virtual SAN 集 群 的 Related Objects 一 Hosts (相关 对 象 一 主机 ) 中 ， 可 以 查看 与 Virtual SAN 集 群 关联 的 主机 。 如 图 
3-31 所 示 ， 可 以 看 到 当前 Virtual SAN 集 群 中 已 经 添加 了 3 人 台 主 机 。 


Navigator 















[jj] Actions - DataCenter 

Add Host... 

VJ New Cluster... 

New Folder > 





Distributed Switch 

New Virtual Machine 
New vApp from Library... 
Deploy OVF Template... 


storage 
Edit Default VM Compaitibility... 
Migrate VM to Another Network... 


Move To... 
Rename... 
Tags 


Add Permission... 
Alarms 


Delete 
All vRealize Orchestrator plugin Actions 


图 3-28 ”创建 新 集群 





Name 
Location 


v DRS 


Automation Level 


Migration Threshold 
> vSphere HA 
» EVC 
> Virtual SAN 













E 


23 DataCenter 
D fil! Virtual SAN Cluster 


Virtual SAN Cluster 


DataCenter 
[v] Turn ON 


Fully automated | > 


Conservative =p Aggressive 
[ ] Turn ON 

Disable 
[C] Turn ON 


图 3-29 ”配置 新 集群 






Actions - Virtual SAN Cluster 


Sg Add Host... 


|» 

















H Move Hosts into Cluster... 




















New Virtual Machine 
New vApp 





New Resource Pool... 
fj Deploy OVF Template... 


MÀ d am a ao m 








Restore Resource FOO! Iree... 
Storage > 
Host Profiles » 
Edit Default VM Compatibility... 


sey Assign License... 





Settings 

Move To... 

Rename... 

Tags » 
Add Permission... 

Alarms 
3€ Delete 

All vRealize Orchestrator plugin Actions  » 


E3-30 添加 主机 到 集群 中 


4 Virtual SAN Cluster Actions ra 
Getting Started Summary Monitor Manage | Related Objects 


Top Level Objects | Hosts Datastore Clusters | Networks | Distributed Switches 
Gia & & D e | BActions~ > LE (a Filter 


Name Status Cluster Consumed CPU % 
[] esxi-a-01.vclass.local Connected © Normal Qj Virtual SAN Cluster 21 
[] esxi-a-02.vclass.local Connected Q Normal Qj Virtual SAN Cluster 21 
J esxi-a-03.vclass.local Connected @ Normal Qj Virtual SAN Cluster 2! 





图 3-31 集群 中 关联 的 主机 


3.3.4 局 用 Virtual SAN 


当 将 集群 配置 为 Virtual SAN 时 ， 集 群 必须 满足 构建 Virtual SAN 的 所 有 要 求 。 如 果 集 群 上 已 经 启用 了 VMware vSphere 
High Availability (HA) ， 那 么 在 启用 Virtual SAN 之 前 必须 关闭 vsphere 的 HA 特性 。 管 理 员 可 以 在 配置 完成 后 重新 启用 HA。 
在 Virtual SAN6.2 中 ， 尼 用 Virtual SAN 十 分 简单 。 管 理 员 可 以 根据 向 导 页 面 一 次 性 完成 Virtual SAN 的 所 有 配置 。 相 比 之 前 的 版 
本 ， 在 界面 易 用 性 上 有 很 大 的 改进 。 


1) 在 Inventory 一 Hosts and Clusters (清单 一 主机 和 集群 ) 中 ， 选 中 需要 构建 Virtual SAN 的 集群 ， 进 入 
Manage-Settings Virtual SAN 一 General (管理 一 设置 一 Virtual SAN 一 常规 ) 。 如 图 3-32 所 示 ， 当 前 集群 中 的 Virtual 
SAN 功 能 是 关闭 的 。 


ÇH Virtual SAN Cluster Actions v 


Summary Monitor | Manage | Related Objects 


T 


| Settings | Scheduled Tasks | Alarm Definitions | Tags | Permissions 





« Virtual SAN is Turned OFF 


v Services 
vSphere DRS 
vSphere HA 

wv Virtual SAN 
Disk Management 


Fault Domains & Stretched 
Cluster 


Health and Performance 
v Configuration 
General 
CENE Virtual SAN is not enabled. 
VMware EVC 
VM/iHost Groups 
VM/Host Rules 
VM Overrides 
Host Options 


Profiles 





图 3-32 ”集群 管理 的 Vittual SAN (dj 


2) 单 击 页 面 右上 方 的 Configure， 出 现 如 图 3-33 所 示 的 Virtual SAN 配 置 页 面 。 在 Disk Claiming 选 项 中 ， 选 择 Virtual SAN 
创建 磁盘 组 的 模式 。 在 Virtual SAN 中 ， 创 建 Virtual SAN 有 自动 和 手动 两 种 模式 可 选 。 


ÜJ Virtual SAN Cluster - Configure Virtual SAN 


1 Select VSAN capabilities Select VSAN capabilities 
Select how you want your Virtual SAN cluster to behave. 


2 Network validation 


3 Claim disks Disk Claiming 





4 Readyto complete Add disks to storage: | Manual |v] 





Requires manual claiming of any new disks on the included hosts to the shared storage. 


Deduplication and Compression 


[| Enable 


Deduplication and compression will improve the total cost of ownership by reducing the data stored on your 
physical disks. Deduplication and compression only works for all-flash disk groups. Creating hybrid disk groups is 
not allowed when Deduplication and compression is turned on. 


v Reduced Redundant 
Fault Domains and Stretched Cluster 


+) Do not configure 
_) Configure two host Virtual SAN cluster @ 
_) Configure stretched cluster @ 


) Configure fault domains @ 


Licensing 


A Alicense must be assigned to the cluster in order to create disk groups or consume disks automatically. 


Cancel 





图 3-33 Virtual SAN 配 置 页 面 


:自动 模式 : 该 模式 是 通过 VMware vSphere Web Client 创 建 Vittual SAN 集 群 的 默认 模式 。 当 创建 Vittual SAN 集 群 选择 自动 模 
AR, Virtual SAN 会 自动 发 现 每 台 主 机 上 的 本 地 空 一 ， 所 有 这 些 硬盘 都 会 用 于 创建 尽 可 能 多 的 磁盘 组 。 注 意 ， 由 于 每 个 磁盘 组 只 
能 包含 一 块 缓存 SSD， 因 此 主机 上 会 创建 多 个 磁盘 组 。 这 些 磁盘 组 中 会 包含 一 块 缓存 SSD 和 一 块 或 多 块 容 量 盘 。 在 磁盘 组 创建 
后 ， 数 据 存储 随 之 创建 。 数 据 存储 的 容量 受 集群 中 所 有 主机 的 容量 盘 的 容量 影响 。 如 果 一 台 主 机 被 添加 到 Virtual SANARE P, AB 
么 这 台 主 机 上 的 空 盘 便 会 自动 被 Vittual SAN 使 用 。 创 建新 的 磁盘 组 后 ，Virtual SAN 数 据 存储 的 容量 会 随 之 扩展 。 也 就 是 说 ， 除 了 
将 新 的 ESXi 主 机 添加 进 Virtual SAN 集 群 ， 在 上 自动 模式 下 没有 任何 管理 操作 需要 执行 。 

“ 手动 模式 : 当选 择 手 动 模式 时 ，Virtual SAN 集 群 会 被 立即 创建 。Virtual SAN 会 创建 一 个 独立 的 分 布 式 数据 存储 ， 但 数据 存 
储 的 容量 为 0。 在 Virtual SAN 集 群 创 建 后 ， 管 理 员 需要 手动 在 每 台 主 机 上 创建 磁盘 组 。 当 磁盘 组 创建 后 ，Vittual SAN 数 据 存储 的 


容量 便 随 肴 磁 驯 组 容量 的 增加 而 扩展 。 


为 便于 实验 演示 ， 我 们 选择 手动 模式 ， 其 他 均 采 用 默认 配置 ， 单 击 Next 继 续 。 


* 


3) 在 Network validation#=, Virtual SAN 会 校 验 当前 集群 上 是 否 拥 有 满足 Virtual SAN 数 据 通 信 的 VMkerne| 流 量 网 络 。 
由 于 之 前 我 们 已 成 功 创建 用 于 Virtual SAN Traffic 的 VMkernel 流 量 网 络 ， 因 此 网 络 校 验 成 功 。 如 图 3-34 所 示 ， 单 击 Next 继 续 。 


(jJ virtual SAN Cluster - Configure Virtual SAN 


w 1 Select VSAN capabilities Network validation 


Check the Virtual SAN network settings on all hosts in the cluster. 
2 Network validation 


3 Claim disks Fe | Cile 
View. | Virtual SAN VMkernel adapters (Q Filter 








4 Ready to complete Name Network IP Address VSAN Enabled 


- A 10.159.16.39 © Yes 
vmk1 VSAN-Traffic 172.20.11.53 Yes 


~ A 10.159.16.37 @ Yes 
vmk1 VSAN-Traffic 172.20.11.51 Yes 


- A 10.159.16.38 © Yes 
vmk1 VSAN-Traffic 172.20.11.52 Yes 


ie 6 items [四 ~ 


© All the hosts in this cluster have a VMkernel adapter with YSAN traffic enabled. Review the list below for more 
details. 





Cancel 
图 3-34 ”验证 VMkernel 流 量 网 络 


4) 在 选择 手动 模式 后 ， 会 出 现 Claim diskst=, Virtual SAN 会 询问 是 否 需要 手动 创建 磁盘 组 。 如 图 3-35 所 示 ， 人 在 手动 模式 
中 ， 主 机 不 会 主动 创建 磁盘 组 ， 因 此 默认 总 缓存 和 总 容量 均 为 0.00B。 为 便于 实验 演示 ， 我 们 保留 默认 配置 ， 单 击 Next 继 续 。 





5) 在 Ready to complete 栏 ， 可 以 看 到 Virtual SAN 当 前 配置 的 总 体 情 况 。 确 认 后 ， 单 击 Finish 完 成 配置 。 


(jJ virtual SAN Cluster - Configure Virtual SAN 


w^ 1 Select VSAN capabilities Claim disks 


Select disks to contribute to the Virtual SAN datastore. 
Vv 2 Network validation 


3 Claim disks Select which disks should be claimed for cache and which for capacity in the VSAN cluster. The disks below are grouped 


4 Ready to complete by model and size or by host. The recommended selection has been made based on the available devices in your 
environment. 


The number of capacity disks must be greater than or equal to the number of cache disks claimed per host. 


cB 








Group by. | Host |’ | (Q Filter 





Name Claim For Drive Type Total Capacity Transport Type Adapter 
> [] 10.159.16.39 © Do not claim 


> 日 10.159.16.37 & Do not claim 


> 日 10.159.16.38 & Do not claim 


Total cache: 0.008 Total capacity; 0.00 B 
Configuration validation: 


A No disks selected. 





图 3-35 ERA 


(jJ Virtual SAN Cluster - Configure Virtual SAN 





w^ 1 Select VSAN capabilities Ready to complete 
Review your settings selections before finishing the wizard. 
v 2 Network validation 


w^ 3 Claim disks Deduplication and Compression No 

Vv Add disks to storage Manual 
Total VSAN datastore capacity 0.00 B 
Total YSAN datastore cache 0.00 B 


Fault Domains and Stretched Do not configure 
Cluster 





Finish Cancel 


图 3-36 Ready to complete 


6) 在 Virtual SANS&RÉR Manage Settings Virtual SAN—General (管理 一 设置 一 Virtual SAN 一 常规 ) 栏 可 以 进行 验 
证 。 如 图 3-37 所 示 ， 当 前 Virtual SAN 已 启用 ， 磁 盘 组 创建 模式 为 手动 模式 。 





Na Virtual SAN Cluster | Actions v 


Summary Monitor | Manage | Related Objects 


Scheduled Tasks | Alarm Definitions 


44 Virtual SAN is Turned ON 
v Senicos Add disks to storage Manual 

vSphere DRS 

p Deduplication and compression Disabled 

vSphere HA 
Virtual SAN Internet Connectivity 

Disk Management Proxy m 

Fault Domains & Stretched User name u 

Cluster 

Health and Performance On-disk Format Version Upgrade 





v Configuration Disk format version - 


General Disks with outdated version @ 0of0 
Licensing 

VMware EVC 

VMiHost Groups 

YM Host Rules 

VM Overrides 

Host Options 


Profiles 


图 3-37 Virtual SANE È H 


3.4. 添加 许可 证 


在 新 安装 的 vSphere 系 统 中 启用 Virtual SAN 后 ， 管 理 员 可 以 在 评估 模式 下 免费 试用 60 天 。 评 估 异 式 的 许可 证 默认 支持 所 有 

寺 性 ， 如 图 3-38 所 示 。 管 理 员 可 以 根据 实际 需要 对 Virtual SAN 的 功能 进行 测试 ， 包 括 全 闪存、 延伸 集群 、 纠 删 码 -RAID5/6、 去 
重 和 压缩 、 服 务 质量 〈1OPS 限 制 ) 等 。 在 实际 评估 结束 后 ， 可 以 根据 实际 需要 咨询 VMware 或 VMware 授权 合作 伙伴 ， 购 买 相 

关 许可 证 。 


CH VSAN-Cluster Actions ~ 


Getting Started Summary Monitor | Manage | Related Objects 








Scheduled Tasks | Alarm Definitions | Tags | Permissions | 
s Licensing 


ne Usage 6 CPUs 


vSphere DRS 
p Product Evaluation Mode 


vSphere HA i i . 
License Evaluation License 
wv Virtual SAN vp». 
License expiration A 5/17/2016 
General 
. Licensed features All Flash 
Disk Management Stretched Cluster 


Fault Domains & Stretched RAIDS/RAID6 Support 
Cluster Set the Maximum IOPS per VM/VMDK 


Storage Savings by Dedupe and Compression 
Health and Performance 


v Configuration 
General 
VMware EVC 
VM/Host Groups 
VM/Host Rules 
VM Overrides 
Host Options 


Profiles 





图 3-38 ”许可 证 页 面 


1) 若 要 对 Virtual SAN 集 群 添加 新 的 许可 证 ， 单 击 页 面 右 上 方 的 Assign License， 进 入 许可 证 管理 页 面 ， 如 图 3-39 所 示 。 单 
击 页 面 左 上 角 以 添加 新 的 许可 证 。 


Licenses 


十 


License License Key 


(9. © Evaluation License - 


Assignment Validation for Evaluation License 





| Select a different license to replace the current license ofthe assets. 














EJ3-39 ”添加 许可 证 


2) 在 弹出 的 页 面 中 输入 获得 的 许可 证 ， 单 击 Next 继 续 。 


1 Enter license keys Enterlicense keys 


Enter license keys from which to create new licenses. 
2 Editlicense names 


3 Readyto complete License keys (one per line): 





图 3-40 HAT TIES A 


3) 在 如 图 3-41 所 示 的 页 面 中 ， 可 以 查看 到 输入 许可 证 的 详细 信息 ， 包 括 该 许可 证 对 应 的 产品 名 称 、 有 效 期 以 及 支持 的 容 
量 。 单 击 Next 继 续 。 


Edit license names 
Each license key is placed in a separate license. Review the licenses and name them as appropriate. 


w' 1 Enter license keys 
ssec e License name: |VSAN Advanced License] 


License key: Uu S. Li iM Expires: — 1/1/2017 
Product: Virtual SAN Standard (CPUs) Capacity. 128 CPUs 








图 3-41 编辑 许可 证 名 称 


4) 在 Ready to complete 中 ， 可 以 查看 信息 。 单 击 Finish 完 成 许可 证 添加 。 


Ready to complete 


ww 1 Enterlicense keys 
You can now add the new licenses to the inventory. Once added, assign the licenses to assets to use product features. 


Vv 2 Editlicense names 


a 3 Ready to complete Number of licenses: 1 


License name: VSAN Advanced License 
License key: *o-— ^od s tcs 





图 3-42 Ready to complete 


5) 页 面 会 自动 重新 返回 Assign License， 如 图 3-43 所 示 ， 可 以 看 到 新 添加 的 许可 证 已 经 显示 在 其 中 。 选 中 新 添加 的 许可 
证 ， 单 击 OK 即 可 完成 许可 证 分 配 。 


6) 页 面 中 的 许可 证 已 经 变更 为 新 添加 的 许可 证 ， 如 图 3-44 所 示 。 


Licenses 
4 


License License Key Product Usage Capacity 


(9) (New) VSAN Adv.. | SM E oto 1 Virtual SAN Standard (CPUs) * 6 CPUs 128 CPUs 


QO © Evaluation License — " 


t| 2items [$7 





Assignment Validation for VSAN Advanced License 


Æ Some features will become unavailable. Details... 








图 3-43 ”许可 证 添加 完成 


Usage 6 CPUS 


Product Virtual SAN Standard (CPUs) 
License VSAN Advanced License 
License expiration 1/1/2017 


Licensed features -- 





图 3-44 ”许可 证 页 面 


3.5 ”创建 磁盘 组 


Virtual SAN 中 的 磁盘 组 可 以 根据 实际 需要 分 别 创建 。 在 创建 磁盘 组 时 ， 管 理 员 可 以 单独 选择 为 每 台 主 机 创建 磁盘 组 ， 也 可 
以 选择 集群 中 主机 上 所 有 可 用 的 磁盘 ， 同 时 创建 磁盘 组 。 当 管理 员 想 要 控制 容量 盘 与 缓 仓 盘 的 具体 容量 时 ， 建 议 单 独 为 每 台 主 机 
创建 磁盘 组 。 在 本 节 ， 我 们 将 演示 如 何 为 Virtual SAN 集 群 中 的 所 有 主机 统一 创建 磁盘 组 。 


1) 在 Inventory 一 Hosts and Clusters (清单 一 主机 和 集群 ) 中 ， 选 中 Virtual SANS&EBE, fEManage- Settings Virtual 
SAN 一 Disk Management (管理 一 设置 一 Virtual SAN 一 磁盘 管理 ) 栏 ， 可 以 看 到 Virtual SAN 集 群 中 的 磁盘 组 。 如 图 3-45 所 
示 ， 由 于 在 启用 Virtual SAN 集 群 时 选择 了 手动 模式 ， 因 此 Virtual SAN 没 有 目 动 创建 磁盘 组 ， 当 前 的 磁盘 组 数量 为 0。 


2) 单 击 图 3-45 中 页 面 上 方 Disk Groups 栏 的 痢 ， 以 声明 创建 磁盘 组 。 单 击 Group by 下 拉 菜 单 选择 Disk 
model/size, Virtual SAN 会 根据 集群 中 磁盘 的 型 号 与 规模 自动 判别 哪些 盘 作为 缓存 层 ， 哪 些 作为 容量 层 。 如 图 3-46 所 示 ， 当 前 
集群 中 的 三 台 主 机 上 分 别 有 两 块 200GB 的 SSD 和 六 块 400GB 的 SSD。 


Disk Groups Disk Groups Disks 
-EC 

vSphere DRS 
vSphere HA 


wv Virtual SAN 


(a Filter 


Fault Domain Network Parti... Disk Format Version 


Disk Group Disks in Use — State 

民 10.159.16.37 0 of 8 Connected 
(à 10.159.16.38 0 of8 Connected 
(à 10.159.16.39 0 of 8 Connected 


Group 1 
Group 1 
Group 1 


Fault Domains & Stretched 
Cluster 


Health and Performance 
v Configuration 


No item selected 





图 3-45 “磁盘 管理 


Select which disks should be claimed for cache and which for capacity in the VSAN cluster. The disks below are 


grouped by model and size or by host. The recommended selection has been made based on the available devices in 
your environment. 


The number of capacity disks must be greater than or equal to the number of cache disks claimed per host. 
| 加 四 | 过 下 十 


Disk Model/Serial Number 


Group by [Diskmodelsize | ~ | (Q Filter =) 
Claim For 
> DELL PERC H730, 185.75 GB disks — dà Cache tier 


> DELL PERC H730, 372.00 GB disks Æ Capacity tier 


Drive Type Total Capacity Disk Distribution/Host 
Flash 1.09 TB 2 disks on 3 hosts 
Flash 6.54 TB 6 disks on 3 hosts 


Total cache: 1.09 TB  Totalcapacity 6.54 TB 


Configuration validation: 


v Configuration correct. 





图 3-46 ”声明 磁盘 


3) 管理 员 也 可 以 根据 实际 需要 进行 手动 分 配 ， 单 击 Group by 下 拉 菜 单 选择 Host 即 可 看 到 集群 中 的 三 台 主 机 。 选 中 需要 创 


建 磁盘 组 的 主机 ， 单 击 下 搁 菜单 可 以 看 到 当前 主机 上 上 所 有 可 用 于 Virtual SAN 的 磁盘 ， 如 图 3-47 所 示 。 


4) 管理 员 可 以 根据 实际 需要 对 配置 进行 更 改 。 如 图 3-47 所 示 ， 选 中 SSD， 单 击 列 表 上 方 的 叹 ， 将 其 标记 为 缓存 层 。 单 击 意 
， 将 其 标记 为 容量 层 。 如 果 管 理 员 在 局 用 Virtual SAN 时 选择 自动 模式 ， 可 以 仅 指 定 哪些 SSD 是 缓存 层 ， 哪 些 SSD 是 容量 层 。 需 
要 注意 的 是 ， 在 磁盘 组 中 ， 只 有 容量 层 贡献 容量 ， 缓 仔 层 并 不 同 磁 盘 组 贡献 容量 。 


met 一 Group by Host | | Iter v 


Name Claim For Drive Type Total Cc“ 


- Ø 10.159.16.37 Custom 
E3 Local DELL Disk (naa.6c81f660d02060001e7dc1f812026ae8) & Donotclaim Flash 185.7! :: 
E Local DELL Disk (naa.6c81f660d02060001e7dc2de1fc16160) 起 Capacity tier Flash 372.01 
El Local DELL Disk (naa.6c81f660d02060001e7dc2fa2169e5c4) a Capacity tier Flash 372.01 
E Local DELL Disk (naa.6c81f660d02060001e/7dc2be1dd5/ 1fd) Xd Capacity tier Flash 372.01 
GH Local DELL Disk (na3a.6c81f660d02060001e7dc25a1 7 df2f42) 总 Capacity tier Flash 372.01 
El Local DELL Disk (naa.6c81f660d02060001e7dc2a11c1937e4) á Capacity tier Flash 372.01» 


4 > 


M 11items | 四 ~ 
Total cache: 928.75 GB Total capacity: 6.54 TB 





图 3-47 主机 声明 磁盘 


5) 每 台 主 机 上 均 创 建 两 个 磁盘 组 ， 磁 盘 组 上 拥有 一 块 200GB 的 SSD 作 为 缓存 层 ，3 块 400GB 的 SSD 作 为 容量 层 。 如 图 3-48 
所 示 ， 配 置 好 后 ， 系 统 估 算出 整个 Virtual SAN 集 群 上 共有 185.75GB*2*3 = 1.09TB 的 SSD 作 为 缓存 层 。 另 外 拥有 372.16GB*6*3 
= 6.54TB 的 SSD 作 为 容量 层 。 单 击 OK 完 成 磁盘 组 配置 。 


5 VSAN-Cluster - Claim Disks for Virtual SAN Use 


Select which disks should be claimed for cache and which for capacity in the VSAN cluster. The disks below are 
grouped by model and size or by host. The recommended selection has been made based on the available devices in 


your environment. 


The number of capacity disks must be greater than or equal to the number of cache disks claimed per host. 


— € 


EL | = = 
Name 


-  10.159.16.37 


Local DELL Disk (naa.6c8 1f... 
Local DELL Disk (naa.6c81f660d... 
Local DELL Disk (naa.6c81f660d... 
Local DELL Disk (naa.6c81f660d... 
Local DELL Disk (naa.6c81f660d... 
Local DELL Disk (naa.6c81f660d... 


Group by. | Host | X | (Q Filter | 


Claim For 
Custom 

dà Cache tier 

六 Capacity tier 

站 Capacity tier 

& Capacity tier 

Á Capacity tier 


Drive Type 


Flash 
Flash 
Flash 
Flash 
Flash 
Flash 


Total Capacity 


185.75 GB 
372.00 GB 
372.00 GB 
372.00 GB 
372.00 GB 
372.00 GB 


Parallel S... 
Parallel S... 
Parallel S... 
Parallel S... 
Parallel S... 
Parallel S... 


vmhba1 
vmhba1 
vmhba1 
vmhba1 
vmhba1 
vmhba1 


Transport Type Adapter w 


总 Capacity tier 


«1 


Ai 11 items [T 


Total cache: 1.09 TB Totalcapacity 6.54 TB 


Ld 


Configuration validation: 


vV Configuration correct. 





图 3-48 mee BAA CUN, 


6) 统一 创建 磁盘 组 可 能 需要 一 段 时 间 ， 有 具体 的 任务 进度 可 以 在 Web Client 页 面 下 方 的 Recent Tasks 中 查看 ， 如 图 3-49 所 


小 \。 


Task Name Target 


国 10.159.16.37 
10.158.16.38 
B 10.159.16.39 
10.159.16.38 


Create disk group on Virtual SAN 
Add disks to Virtual SAN 








Create disk group on Virtual SAN 
Create disk group on Virtual SAN 





7) f£zManage- Settings Virtual SAN—Disk Management (管理 一 设置 一 Virtual SAN 一 磁盘 管理 ) 栏 ， 可 以 在 Disk 
Groups 中 验证 磁盘 组 创建 是 否 成 功 。 如 图 3-50 所 示 ， 当 前 Virtual SAN 集 群 中 拥有 三 台 主 机 ， 每 台 主 机 上 拥有 两 个 磁盘 组 。 与 
此 同时 ， 我 们 可 以 选中 需要 查看 的 磁盘 组 查看 具体 信息 ， 在 页 面 下 方 的 Disk group 中 ， 可 以 看 到 选中 磁盘 组 的 具体 磁盘 信息 。 


© Virtual SAN Cluster | Actions ~ 





















































Getting Started Summary Monitor | Manage | Related Objects 
gs | Scheduled Tasks | Alarm Definitions | Tags | Permissions | 


4d Disk Groups 


alm Ec Q Filter 

vSphere DRS Don Diss in Use | Siste Virtual SAN Fault Domain Network Parti 
- 区 10.159.16.37 8 of 8 Connected Healthy Group 1 
w Virtual SAN Ez Disk group ... Mounted Healthy All flash 

General i Disk group.. Mounted Healthy All flash 
- (à 10.159.16.40 Connected Healthy Group 1 

Fault Domains & Stretched 国 Disk group Mounted Healthy All flash 

Cluster BS Disk group .. Mounted Healthy All flash 

Health and Performance » A 10.159.16.39 Connected Healthy 
~ Configuration BH Disk group ... Mounted Healthy All flash 

General BB Disk group ... Mounted Healthy All flash 











v Services 


vSphere HA 


Licensing a x : 


M 9items [四 ~ 


VMware EVC 


VM/Host Groups Disk group (02000000006c8 1660d02060001e/dc18120260e8504552432048): Disks 


VM/Host Rules om | (B) All Actions x Show: | inu i * 
VM Overrides 


Host Options 


Name Drive Type Disk Tier Capacity Virtual SAN Hes ^ 
E Local DELL Disk (naa.6c81f660d020500016748c11912026368) Flash Cache 185.75 GB Healthy 
Profiles Ell Local DELL Disk (naa.6c811660402050001e7dc2de11c16160) Flash Capacity 372.00GB Healthy 

E Local DELL Disk (naa.5c811660d0205000167dc25a17df2142) Flash Capacity 372.00 GB Healthy 


ES oca DFEII Disk (naa &cR1165080205000187034002a1161937 864) Flash Canacity AT2 00 GA Healthy 
d ri È 


M 4items [四 ~ 





图 3-50 ”磁盘 管理 


8) 在 磁盘 组 创建 完成 后 ， 管 理 员 可 以 在 Monitor 一 Virtual SAN 一 Capacity (监控 一 Virtual SAN 一 容量 ) 中 查看 Virtual 
SAN 的 容量 信息 。 如 图 3-51 所 示 ， 当 前 Virtual SAN 数 据 存 储 有 6.47TB 的 可 用 空间 ， 管 理 员 可 以 在 页 面 下 方 看 到 容量 使 用 的 具体 
言 息 。 可 以 看 到 ，Checksum 在 Virtual SAN 磁 盘 组 创建 后 便 默 认 启 用 ， 并 占用 一 定 的 空间 。 


全 注意 Checksum 软 件 校 验 和 是 Virtual SAN6.2 引 入 的 新 功能 ， 其 支持 在 软件 层面 实现 数据 端 到 端 校 验 ， 在 写 入 与 读 取 时 检 
测 和 解决 可 能 出 现 的 磁盘 错误 ， 从 而 提供 更 高 的 数据 完整 性 与 准确 性 。 


7 Virtual SAN Cluster | Actions ~ 


Getting Started Summary | Monitor | Manage Related Objects 






















































































| Issues | Performance | Profile Compliance | Tasks | Events | Resource Reservation | vSphere DRS Virtual SAN] Utilization | 


44 Capacity Owe mew Deduplication and Compression Owe mew 
Physical Disks 
Virtual Disks j TB 8.47 TB 


Resyncing Components 771 Used - Physically written 0.00 B 


Health IS Used - VM overreserved 0.00 B 


: Used - Total 0.00 B 
I Virtual SAN system overhead 8.37 GB 


Proactive Tests C] Finn 647 TB 


Used Capacity Breakdown 


Breakdown of the used capacity. 


Group by. | Object types Eu 
2 GB 
MM File system overhead asain 


EN Checksum overhead 8.30 GB (8956) 





图 3-51 #AVirtual SAN 容 量 信息 


3.66 配置 Virtual SAN 故 障 域 


故障 域 是 Virtual SAN6.0 引 入 的 新 特性 。Virtual SAN 故 障 域 引入 了 “机 架 感 知 ”， 可 以 确保 虚拟 机 副本 数据 分 友 横 跨 在 多 
个 机 架 的 多 台 主 机 中 。 通 过 启用 故障 域 ，Virtual SAN 可 以 将 元 余 的 组 件 分 友 到 不 同 机 架 的 服务 器 上 。Virtual SAN 故 障 域 特性 可 
以 避免 Virtual SAN 由 以 下 几 个 原因 引起 的 故障 : 


- 机 架 级 别 的 故障 ， 如 机 架 断 电 
. 缓存 和 容量 磁盘 故障 
.网络 设备 故障 


-电源 故障 


3.6.1 ”故障 域 介绍 


Virtual SAN 局 用 故障 域 时 ， 存 储 策 上 略 从 主机 级 别 转 移 到 故障 域 级 别 。 要 配置 Virtual SAN 故 障 域 ，Virtual SAN 集 群 至 少 
需要 3 个 故障 域 。 每 个 故障 域 中 至少 要 包含 1 台 ESXI 主 机 。 这 样 在 其 中 一 个 故障 域 出 现 故 障 时 ， 也 可 以 确保 Virtual SANAYIF ASI 
行 。 VMware 推 荐 使 用 至 少 4 个 故障 域 以 支持 全 数据 迁 出 模式 和 数据 保护 配置 ， 如 图 3-52 所 示 。 本 小 书 实验 演示 根据 VMware 推 
存 ， 使 用 4 台 主 机 建立 4 个 故障 域 。 





4 Virtual SAN Datastore 一 








LII I IT 1.1 I I ll ll D M LL ee l1 1.1 1.1 I.I D LL LLLzLLLLlLLLLLLLLLIOILLI.I 1] 1 1 1 I I 1 1 I1 1 1I lI 1l l1 LL EL LL LLOLLIL.LL.L.I jj 


Fault Domain A Fault Domain B Fault Domain C Fault Domain D 


p p a 





ESXr1 | ES Xi-2 ESXI-3 ESX-4 ES Xi-5 ESX-6 ES Xi-7 ES Xi-8 


VSAN Network VSAN Network VSAN Network VSAN Network 
_ Virtual SAN Cluster 





图 3-52 ”故障 域 


3.6.2 ”设置 故障 域 


设置 故障 域 具体 操作 步骤 如 下 : 


1) 在 Virtual SAN 集 和 群 的 Manage 一 Settings 一 Virtual SAN 一 Fault Domains&Stretched Cluster (管理 一 设置 一 Virtual 
SAN 一 故障 域 和 延伸 集群 ) 栏 ， 可 以 对 Virtual SAN 集 群 进行 故障 域 设 置 。 如 图 3-53 所 示 ， 当 前 Virtual SAN 集 群 中 的 4 台 主 机 默 
认 在 同一 个 故障 域 中 。 当 前 配置 最 多 可 以 容忍 1 台 主 机 故障 。 


[Çh Virtual SAN Cluster | Actions + 


Summary — Monitor | Manage | Related Objects 








| Setings | Scheduled Tasks | Alarm Definitions | Tags | Permissions | 


44 Stretched Cluster | Configure | 


" 5PIVICPS 7 
Status Disabled 
phere DRS 
phere HA 


- Virtual SAH 


Freferred fault domain 


Witness hast 


General Fault Domains 
Disk Management 


Configuration can tolerate maximum 1haostfallurez €» 
Fault Domains & Stretched 


Cluster 十 “一 “三 G (Q Filter 
Health and Performance Fault DornainiHost 


- Configuration [] 10.159.16.39 
General 国 10.159.16.37 
Licensing J 10.159.16.40 
VMware EVC |] 10.159.16.38 
VMiHost Groups 
¥RMHost Rules 
VM Overrides 
Host Options 


Profiles 





üof4hosts |a" 
图 3-53 ”故障 域 与 延伸 集群 


2) 单 击 图 3-53 中 的 十 ， 以 创建 故障 域 。 如 图 3-54 所 示 ， 在 Name 中 输入 新 建 故障 域 的 名 字 ， 并 在 列表 中 勾 选 主机 以 完成 故 
障 域 主机 添加 ， 单 击 OK 完成 。 


3) 依次 创建 4 个 故障 域 ,并 在 每 个 故障 域 中 添加 一 台 主 机 。 如 图 3-55 所 示 ， 所 有 故障 域 创建 完成 。 


New Fault Domain 


Name: Fault Domains-ü1 


Selectthe hosts to move into this fault domain. 


Show: | Hosts notin fault domains | ~ |[Q Filter 


Host Fault Domain 
I [ 10.159.16.39 
[ ] 10.159.16.37 
L] B 10.159.16.40 
= 10.159.16.38 


i 4items | 四 ~ 





| ox || Cancel | 


图 3-54 ”创建 故障 域 
ault Domains 
Configuration can tolerate maximum 1 fault domain failures & 


+ "= 

Fault Domain/Host 

+ B Fault Domains-01 (1 host) 
i 10.158.15.39 

+ B Fault Domains-02 (1 host) 


10.159.16.37 

+ B FaultDomains-03 (1 host) 
BJ 10.159.16.40 

+ ll Fault Domains-04 (1 host) 
10.158.16.38 





4hosts | 四 = 


图 3-55 配置 好 的 故障 域 


3.7 AESA Virtual SAN 


通过 第 2 章 的 介绍 我 们 已 经 知道 Virtual SAN 提 供 两 种 跨 站 点 的 组 建 方 案 ， 由 于 ROBO 的 配置 与 延伸 集群 类 似 ， 因 此 在 本 市 我 


们 以 延伸 集群 为 例 进 行 配置 介绍 。 


3.7.1 ”延伸 集群 简介 


Virtual SANE SAFE Virtual SAN6.1 引 入 的 新 特性 。 前 面 2.2.3 节 已 经 介绍 过 它 的 概念 ， 这 里 不 再 痪 述 。 


用 尸 可 以 使 用 延伸 集群 来 管理 计划 的 维护 并 避免 灾难 场景 ， 因 为 维护 或 去 失 某 个 站 点 不 会 影响 集群 的 整体 运行 。 在 延伸 集群 
配置 中 ， 两 个 站 点 均 为 活动 站 点 。 如 果 其 中 一 个 站 后 出 现 故障 ，Virtual SAN 会 使 用 另 一 个 站 点 上 的 存储 。vSphere HA 会 在 另 
一 个 活动 的 站 点 上 重新 局 动 任 何必 须 重新 局 动 的 虚拟 机 .。 


Virtual SAN 征 伸 集群 一 次 可 以 允许 一 个 链 路 故障 ， 期 间 仍 可 以 访问 数据 。 链 路 故障 指 的 是 两 个 站 点 之 间或 某 个 站 点 与 见证 
主机 之 间 的 网 络 连 接 丢 失 。 友 生 站 点 故障 或 网 络 连 接 丢 失 过 程 中 ，Virtual SAN 会 自动 切换 到 完全 正 弟 的 站 点 。 


每 个 延伸 集群 包括 两 个 站 点 和 一 个 见证 主机 (见证 主机 位 于 第 三 个 站 点 ) 。 一 个 站 点 作为 曾 选 站 后， 另 一 个 站 点 作为 辅助 或 
非 首 选 止 点。 系统 仅 在 两 个 活动 站 点 之 间 发 生 网 络 连 接 丢失 的 情况 下 使 用 首选 站 点 ， 因 此 作为 首选 的 站 点 仍 可 运行 。 


通过 配置 Virtual SAN 延 伸 集 群 ， 可 以 在 一 个 数据 中 心 遭 遇 灾 难 断 电 的 情况 下 避免 宕 机 事件 的 友 生 ， 进 一 步 增强 Virtual SAN 
的 可 用 性 与 稳定 性 。 


与 标准 Virtual SAN 不 同 ，Virtual SAN 延 伸 集 群 中 的 见证 组 件 只 部 署 在 见证 主机 中 。 见 证 主机 既 可 以 是 物理 主机 ， 也 可 以 是 
虚拟 机 ， 但 是 建议 将 见证 主机 部 署 为 虚拟 机 ， 因 为 虚拟 见证 主机 已 经 包含 免费 的 特殊 vSphere 许 可 证 ， 而 物理 见证 主机 则 需要 消 
耗 vSphere 许 可 证 。 


3.7.2 ”网 络 与 延迟 要 求 


在 部 署 Virtual SAN 延 伸 集群 时 ， 需 满足 以 下 几 方 面 要 求 。 
1. 物 理 网 络 


Virtual SAN 延 伸 集 群 网 络 同时 文 持 二 层 网 络 与 三 层 网 络 ， 以 便 在 实际 情况 下 根据 需要 灵活 部 署 。 需 要 注意 的 是 ， 延 伸 集 群 
的 见证 站 点 与 数据 站 点 之 间 只 支持 三 层 网 络 通 信 ， 数 据 站 点 之 间 既 可 以 通过 二 层 网 络 通信 ， 也 可 以 通过 三 层 网 络 通 信 。 


SE ”与 Virtual SAN 延 伸 集 群 一 样 ，ROBO 也 同时 支持 二 层 网 络 与 三 层 网 络 。 不 过 事实 上 ，ROBO 使 用 场景 通常 不 会 配 
置 成 三 层 网 络 。 


Virtual SAN 延 伸 集 群 数据 站 点 之 间 的 Virtual SAN 流 量 必须 使 用 多 播 模式 ， 数 据 站 点 与 见证 站 点 之 间 的 见证 流量 必须 使 用 单 
播 模式 。 


2. 延 迟 


Virtual SAN 延 伸 集 群 支持 跨 地 理 区 域 的 部 署 ， 但 是 物理 距离 并 不 是 部 署 时 需要 重点 关注 的 指标 ， 最 关键 的 是 站 点 之 间 的 真 
实 延迟 。Virtual SAN 延 伸 集群 的 网 络 延迟 主要 分 为 以 下 两 种 : 


- 数据 站 点 间 的 网 络 延迟 : 为 确保 Virtual SAN 延 伸 集群 的 可 用 性 ， 数 据 站 点 间 的 往返 网 络 延迟 应 小 于 等 于 5 毫秒 ( 单 向 延迟 
低 于 2.5 毫 秒 ) o 


数据 站 点 与 见证 站 点 间 的 网 络 延 迟 : Virtual SAN 延 伸 集 群 数据 站 点 与 见证 站 点 间 的 往返 网 络 延迟 应 小 于 等 于 200 毫 秒 〈 单 


f] KEIR AKT 100847) 。VMwatre 建 议 在 10 十 10 十 1 以 下 的 延伸 集群 配置 中 ， 数 据 站 点 与 见证 站 点 间 的 往返 网 络 延 迟 小 于 等 于 的 往 
返 网 络 延 迟 小 于 等 于 200 毫 秒 ; 在 10 十 10 十 1 以 上 的 配置 中 ,往返 网 络 延 迟 小 于 等 于 100 毫 秒 ( 单 向 延 记 低 于 50 毫 秒 ) 。 


Qum ROBO 数 据 站 点 间 的 网 络 延迟 要 求 与 Virttual SAN 延 伸 集 群 相 同 。 但 虚拟 见证 与 数据 站 点 间 的 网 络 延 迟 稍 有 不 同 。 
在 ROBO 场 景 中 ， 虚 拟 见 证 与 数据 站 点 间 的 往返 网 络 延迟 最 大 可 达 500 毫 秒 ( 单 向 延迟 低 于 250 毫 秒 ) 。 


3. 市 贸 


el 


Virtual SANER REFAIRE TE pa 0223 732308 Sel Ra Dbl AE. 


ne 
DI 


- 数据 站 点 间 的 带宽 : 在 大 多 数 工作 负载 下 ，VMware 推 荐 在 数据 站 点 间 使 用 最 小 10Gbps 或 更 高 的 网 络 带宽 。 不 过 在 1 十 1 十 1 
架构 的 延伸 集群 部 署 中 ，1Gbps 带 宽 可 以 满足 10 台 以 下 虚拟 机 的 数据 流量 交换 需求 。 
- 数据 站 点 与 见证 站 点 间 的 带宽 : 数据 站 点 与 见证 站 点 间 的 带宽 主要 依赖 于 数据 站 点 上 托管 的 虚拟 机 对 象 数量 。VMwate 推 


荐 两 者 之 间 采 用 200Mbps 带 宽 。 


Qum 在 ROBO 中 ， 数 据 站 点 间 的 带宽 要 求 与 延伸 集群 相同 ， 虚 拟 见 证 与 数据 站 点 之 间 的 带宽 要 求 进 一 步 降 低 为 


1.5Mbps. 


3.7.3 ”配置 Virtual SAN 延 伸 集 群 网 络 


在 配置 Virtual SAN 延 伸 集 群 时 ， 必 须 满足 构建 Virtual SAN 延 伸 集 群 的 折 有 要 求 。 受 实验 环境 限制 ， 我 们 无 法 使 用 真实 场景 
设置 延伸 集群 ， 但 可 以 通过 XORP Router 模 拟 广域网 的 环境 进行 测试 。XORP Router 是 一 款 开 源 的 路 由 平台 软件 ， 其 可 以 帮助 
我 们 桥接 不 同 的 VLAN 并 在 其 上 生成 我 们 所 需 的 网 络 延迟 。 我 们 可 以 通过 这 一 方法 测试 延伸 集群 的 性 能 。 本 次 演示 配置 2+2+1 

架构 的 Virtual SAN 延 伸 集 群 实验 环境 。4 人 台 物 理 ESXi 主 机 分 别 部 署 在 A、B 两 个 站 点 上 ， 虚 拟 见 证 主机 部 署 在 站 点 C 上 。 通 过 
VLAN 与 XORP Router 和 连接 以 模拟 网 络 延 迟 并 通过 三 层 网 络 进行 通信 。 
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图 3-56 ”通过 XORP Routet 构 建 2 十 2 十 1 架构 的 Virtual SANZ fp % 


1) 在 物理 网 络 交 换 机 上 创建 4 条 VLAN 用 于 虚拟 机 ， 站 点 A、B、C。 站 点 之 间 的 VLAN 上 局 用 多 播 和 IGMP。 由 于 不 同 交 换 
机 配置 方法 不 同 且 不 人 在 本 书 讨 论 学 围 内 ， 读 者 可 以 根据 目 有 交换 机 的 文档 进行 配置 。 在 此 ， 我 们 进行 如 下 配置 : 


虚拟 机 : VLAN100 

站 点 A: VLAN102 (启用 多 播 /IGMP) 
站 点 B: VLAN105 (启用 多 播 /IGMP) 
站 点 C: VLAN106 (启用 多 播 /IGMP) 


2) 在 Inventories 一 Networking (清单 一 网 络 ) 中 ， 为 Virtual SAN 延 迟 集群 创建 分 布 式 交 换 机 。 创 建 4 个 分 布 式 端口 组 分 
别 用 于 虚拟 机 以 及 站 点 A、B、C。 每 个 分 布 式 端口 组 配置 对 应 的 VLAN。 如 图 3-57~ 图 3-59 所 示 ，4 个 端口 组 已 经 配置 好 : 
VLAN100/102/105/106, 


” DS- V3 | tent network configuration as they 
= VD cm Actions = VDS-VSAN = across hosts, 
S. VSA Distributed Port Group te New Distributed Port Group... 
|UE Add and Manage Hosts... | — Import Distributed Port Group... 
| 2. Migrate VM to Another Network... — | E. Manage Distributed Port Groups... 


Vpgrade tributed port groups are added to 
| Settini ds switches. The second part takes 
aimi it the host level, where host ports and 
Move To king services are associated with 
t ited switches either through individual 
Rename.... stworking configuration or using host 
p 3. The third part takes place at the 
Machine level, where virtual machine 
, ire connected to distributed port groups 
| * rough individual virtual machine NIC 
| *€ Delete iration or by migrating virtual machine 


Tags 


Alarms 





图 3-57 创建 新 的 分 布 式 端口 组 


3. New Distributed Port Group 


wv 1 Selectname and location Configure settings 


Set general properties of the new port group. 
2 Configure setings 


3 Ready to complete 一 一 -一 -一 
Port binding: | Static binding 





Port allocation: | Elastic 


e Elastic port groups automatically increase or decrease the number of ports as needed. 


Number of ports a 


Network resource pool: | (default) | M | 











VLAN 
VLAN type | VLAN 


VLAN ID 102 


Achanced 


L Customize default policies configuration 


Cancel 





图 3-58 在 端口 组 中 配置 对 应 VLAN 


c= VDS.VSAN | Actions v 





Getting Started Summary — Monitor | Manage | Related Objects 


‘Settings | Alarm Definitions | Tags 


Properties 


Topology " e | VDS-VSAN-DVUplinks-442 "1] 


LACP VLAM ID: 100 Uplink 1 (0 NIC Adapters) 
Private VLAN Virtual Machines (0) | Uplink 2 (0 NIC Adapters) 


: 一 一 和 Uplink 3 (0 NIC Adapters) 
NetFlow & VSAN-Site-A Uplink 4 (0 NIC Adapters) 
Port mirroring VLAN ID: 102 


Virtual Machines (0) 





Health check ; 
c VSAN-Site-B 
VLAN ID: 105 
Virtual Machines (0) 


[E VSAN-Site-C - 
VLAN ID: 106 
Virtual Machines (0) 














图 3-59 ”分 布 式 端口 组 配置 完 VLAN 后 的 拓扑 图 
3) 安装 一 台 Linux 虚 拟 机 。 推 荐 配置 2 个 vCPU、4GB 内 存 、20GB 磁 盘 和 4 个 网 卡 (配置 步骤 略 ) 。 
A) 对 安装 完成 的 Linux 虚 拟 机 进行 以 下 配置 : 
eth0: 动态 或 静态 |P， 用 于 管理 网 络 。 
eth1: 静态 IP， 设 为 VLAN Site A 的 网 关 地 址 ， 如 192.168.102.253。 


eth2: 静态 IP， 设 为 VLAN Site B 的 网 关 地 址 ， 如 192.168.105.253。 


eth3: 静态 IP， 设 为 VLAN Site C 的 网 关 地 址 ， 如 192.168.106.253。 


配置 好 的 Linux 虚 拟 机 网 络 如 图 3-60 所 示 。 





图 3-60 ”配置 好 的 Linux 虚 拟 机 网 络 
5) 用 于 模拟 网 络 延迟 的 XORP Router 以 及 相关 组 件 SCONs， 读 者 可 以 到 以 下 官方 网 站 自行 下 载 。 
: XORP Router: http://www.xorp.org 
- SCONS: http://scons.org 


6) 解压 并 安装 SCONs 和 XORP， 有 天安 装 的 更 多 信息 可 以 参考 文档 http://xorp.run.monte- 
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7) 更 改 配置 文件 multicast-config-v1.boot， 在 每 个 eth 网 卡 和 vif 中 输入 对 应 的 IP 地 址 。 
8) 在 Linux 虚 拟 机 中 的 /etc/sysctl.conf 中 将 “net.ipv4.ip forward” 的 值 改 为 1 以 启用 IPv4 端 口 转发 。 
9) 通过 编辑 /etc/selinux/config 文 件 以 关闭 SELINUX 服 务 ， 确 保 SELINUX = disabled. 


10) 关闭 防火 墙 ， 参 考 命令 如 下 : 


Chkconfig iptables off 
Chkconfig ip6tables off 
Service iptables stop 


Service ipó6tables stop 


11) 重 局 虚拟 机 ， 并 运行 安 委 的 XORP 程 序 。 


./xorp rtrmgr -b multicast-config-vl.boot -d 


12) 在 每 台 ESXi 主 机 上 创建 静态 路 由 ， 稍 后 我 们 将 使 用 XORP 的 IP 地 址 作为 每 个 VMkernel 适 配器 的 网 关 。 该 网 关 会 帮助 路 
由 流量 到 其 他 站 点 。 读 者 可 以 参考 VSphere 文 档 通 过 SSH 运 行 esxcli 命 令 进行 添加 。 根 据 前 文 所 述 ， 我 们 给 出 以 下 命令 参考 : 


| 站 点 A: 
ESXi 主 机 11: 
[root@ESXHOSTA1:~] esxcli network ip route ipv4 add -network 192.168.105.0/24 - 
gateway 192.168.102.253 
[root@ESXHOSTA1:~] esxcli network ip route ipv4 add -network 192.168.106.0/24 - 


gateway 192.168.102.253 


ESXi 主 机 2 : 


[rOOtGESXHOSTA2:-] esxcli network ip route ipv4 add -network 192.168.105.0/24 - 
gateway 192.168.102.253 

[root@ESXHOSTA2:~] esxcli network ip route ipv4 add -network 192.168.106.0/24 - 
gateway 192.168.102.253 


| 35 B: 
ESXi 主 机 3: 
[root@ESXHOSTB3:~] esxcli network ip route ipv4 add -network 192.168.102.0/24 - 
gateway 192.168.105.253 
[root@ESXHOSTB3:~] esxcli network ip route ipv4 add -network 192.168.106.0/24 - 


gateway 192.168.105.253 


ESXi 主 机 4 : 
[root@ESXHOSTB4:~] esxcli network ip route ipv4 add -network 192.168.102.0/24 - 
gateway 192.168.105.253 
[root@ESXHOSTB4:~] esxcli network ip route ipv4 add -network 192.168.106.0/24 - 


gateway 192.168.105.253 


* 3b 4C: 


虚拟 见证 主机 : 


[root@WITNESS:~] esxcli network ip route ipv4 add -network 192.168.102.0/24 - 
gateway 192.168.106.253 

[root@WITNESS:~] esxcli network ip route ipv4 add -network 192.168.105.0/24 - 
gateway 192.168.106.253 


13) 根据 3.2 节 所 述 ， 在 分 布 式 交换 机 中 添加 4 人 台 ESXi 主 机 ， 并 配置 对 应 的 VMKkernel 网 络 。 请 确保 不 同 ESXi 主 机 的 
VMkernel 适 配器 分 配 在 对 应 的 分 布 式 器 口 组 中 ， 我 们 给 出 如 图 3-61 所 示 的 参考 。 















+ & Uplink 1 (4 NIC Adapters) 
vmnic2 10.20. 
vmnic2 10.20. 
vmnic2 10.20. 
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VLAN ID: 一 
Virtual Machines (0) 
VLAN ID: 102 
T VMkemrnel Ports (2) | 
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vmk1 ; 192.168.102.95 ©- 
Yv Virtual Machines (3) 





v Gey Uplink 2 (4 NIC Adapters) 
vmnic3 10.20 
vmnic3 10.20 
vmnic3 10.20 
vmnic3 10.20 
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VLAN ID: 105 

Y VMkernel Ports (2) | 
vmk1 : 192.168.105.97 o i | 
vmk1 : 192.168.105.98 Od: 


v Virtual Machines (3) 













VLAN ID: 106 
* Virtual Machines (4) | 
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图 3-61 添加 主机 并 配置 对 应 VMKketnel 适 配器 的 分 布 式 交换 机 网 络 拓 扑 图 


读者 可 以 通过 vmkping 命 令 目 行 验证 Virtual SAN 主 机 的 VMkernel 网 络 是 否 连 通 。Virtual SAN 延 伸 集 群 关于 模拟 跨 站 点 网 
络 的 配置 完成 后 ， 读 者 可 以 根据 测试 需要 引入 不 同 的 网 络 延 迟 。 我 们 给 出 以 下 参考 命令 : 


[root@Netem-Xorp ~]# ?tc qdisc add dev eth3 root netem delay 200ms 


Aap S Rreth3RSpwZxsERIS E200», SIE]3-62BTzn, E5 A WARNA, Wig Cz IBIEXRINIASSEJS REE 00S 
秒 。 





图 3-62 ”引入 网 络 延 迟 后 的 ping 测 7. 


[root@Netem-Xorp ~]# tc qdisc delete dev eth3 root netem 


该 命令 将 eth3 设 置 的 网 络 延迟 移 除 。 如 图 3-63 所 示 ， 





图 3-63 ” 移 除 网 


AE iR E dg ping 1K, 


启用 Virtual SAN 延 伸 集群 的 具体 操作 步骤 如 下 : 


1) 在 Inventory 一 Hosts and Clusters (清单 一 主机 和 集群 ) 中 ， 创 建 两 个 数据 中 心 分 别 添加 ESXi 主 机 与 虚拟 见证 主机 。 如 
图 3-65 所 示 。 


图 3-64 所 示 ， 将 4 人 台 物 理 上 不 在 同一 个 数据 中 心 的 ESXi 主 机 添加 到 同一 个 数据 中 心中 ， 将 虚拟 见证 主机 放置 在 远程 数据 中 心中 。 


2) 在 数据 中 心 新 建 一 个 集群 用 于 构建 Virtual SAN 延 伸 集群 ， 将 本 地 数据 中 心 内 的 主机 添加 到 新 建 的 集群 中 。 最 终 配 置 如 


" 8r atacenter 
: 10.159.16.37 









7 Vitness DataCenter 
> J 10.156.174.52 





23 Datacenter 


| 区 /SAN Stretched Cluster » 
10.159.16.37 





图 3-65 ”创建 延伸 集群 
3) 选中 新 建 集群 ， 在 Manage 一 Settings 一 Virtual SAN 一 General (管理 一 设置 一 Virtual SAN 一 常规 ) 栏 ， 单 击 
Configure 进 行 配 置 。 
4) 在 Fault Domains and Stretched Cluster (故障 域 和 延伸 集群 ) 中 ， 选 择 Configure stretched cluster AAC ERE (Re 
群 。 如 图 3-66 所 示 ， 其 他 保留 默认 配置 ， 单 击 Next 继 续 。 


Qua 如 需 配置 ROBO 3i&4fConfigure two host Virtual SAN clustet 即 可 。 


5) Virtual SAN 将 验证 网 络 状况 是 否 正 常 ， 如 果 网 络 不 正常 ， 请 按照 3.7.3 世 的 讲述 配置 Virtual SAN 延 伸 集群 网 络 。 单 击 


Next 继 续 。 


6) 由 于 延伸 集群 是 故障 域 特性 的 功能 延伸 ， 因 此 我 们 在 配置 Virtual SAN 延 伸 集 群 时 需要 配置 故障 域 。 这 里 的 故障 域 实 际 
上 可 以 理解 为 指定 主机 所 在 的 物理 数据 中 心 。 如 图 3-67 所 示 ， 由 于 我 们 的 4 侣 ESXi 主 机 分 别 在 不 同 的 物理 数据 中 心中 ， 因 此 通过 
故障 域 将 它们 区 分 开 来 。 如 果 读 者 需要 部 署 2 + 2 + 1 架构 及 以 上 的 Virtual SAN 延 伸 集 群 ， 在 配置 时 务必 将 同一 物理 数据 中 心 的 
主机 放 在 相同 的 故障 域 中 。 单 击 Next 继 续 。 


g VSAN Stretched Cluster - Configure Virtual SAN 


1 Select VSAN capabilities Select VSAN capabilites 


Select how you want your Virtual SAM cluster to behave 
2 Network validation 


3 Create fault domains , icm 
; : Disk Claiming 
4 Select witness host 


Add disks to storage: | Automatic — | + | 


9 Ready to complete | | | 
All empty disks on the included hosts will be automatically claimed by Virtual SAN, 


Remote disks will not be claimed in Automatic mode. 
Deduplication and Compression 


[ | Enable 


Deduplication and compression will improve the total cost of ownership by reducing the data stored on your 
physical disks. Deduplication and compression only works for all-flash disk groups. Creating hybrid disk groups is 
not allowed when Deduplication and compression is tumed on. 


Fault Domains and Stretched Cluster 
( Do not configure 
(_) Configure two host Virtual SAN cluster @ 
(=) Configure stretched cluster @ 
(_) Configure fault domains (人 
Licensing 


A license must be assigned to the cluster in order to create disk groups or consume disks automatically 





Cancel 
图 3-66 ”配置 延伸 集群 


Qua 这 里 的 首选 站 点 是 见证 主机 的 绑 定 站 上 点， 虚拟 机 组 件 的 主 备 份 将 放置 于 此 。 辅 助 站 点 主要 放置 虚拟 机 组 件 的 次 要 
备份 ， 只 有 在 首选 站 点 故障 时 ， 见 证 主机 才 会 连接 辅助 站 点 。 首 选 站 点 与 辅助 站 点 是 双 活 架构 ， 管 理 员 不 必 担 心 在 切换 的 过 程 中 
会 有 任何 数据 丢失 。 


CE VSAN Stretched Cluster - Configure Vrtu SAM 


| Select VSAM capabilites Create fault domains | 
Divide the hosts in 2 fault domains that will be used for configuring VSAM stretched cluster 
Network wh Hel ton 


Create sult domains Prelemed tultdomain @ Secondarytauit domain © 


Select witmess host 
Mame. Prefemed Name: | Secondary 


L =, — = 
+ HEY DO compete 


Fault Daomain/Has Faut Domain/Hast 
国 10.159.16.38 国 10.159.16.39 
g 10.159.16.37 国 10.158.16.40 


üof1hosts jt üocf1hosts læ" 


Cancel 





图 3-67 ”配置 故障 域 


7) Select witness host 栏 ， 选 择 部 署 在 远程 数据 中 心 的 虚拟 见证 主机 。 如 图 3-68 所 示 ， 兼 容 性 检测 成 功 ， 单 击 Next 继 


1 Select V&AN capabilites 
2 Network validaton 
j Create fault domains 
4 4 Selectwiness host 
5 Readyto complete 


Select witness host 
Select a witness host for the Stretched Virtual SAN cluster. 


> Eg Datacenter 
v Lig Witness DataCenter 


员 10.156.174.52 


Compatibility 


© compatibility checks succeeded 


图 3-68 ”选择 见证 主机 


Requirements for witness host 
* Not part of any VSAN enabled cluster 
* Have atleast one VMkernel adapter with VSAN traffic 
enabled 
* That adapter must be connected to all hosts in the 
Stretched cluster 


Finish Cancel 





8) 在 Ready to complete 栏 ， 可 以 检查 之 前 通过 向 导 对 Virtual SANGER ER HTE. AEI3-69B] za, AEEA 


后 ， 音 击 Finish 完 成 配置 。 


E VSAN Stretched Cluster - Configure Virtual SAN 


v^ 1 Select VSAN capabilities 
v^ 2 Network validation 

v^ J Create fault domains 

w 4 Selectwitness host 


^ 5 Readyio complete 


Ready to complete 
Review your settings selections before finishing the wizard 


Deduplication and Compression No 
Add disks to storage Automatic 


Fault Domains and stretched 
Cluster 

Fault domains Preferred 
Secondary 
10.156.174.52 


Preferred 


Witness host 
Preferred fault domain 


图 3-09 Ready to complete 


Configure stretched cluster 


Finish Cancel 





9) 在 Recent Tasks 中 ， 可 以 监控 到 Virtual SAN 延 伸 集 群 正 在 进行 配置 。 如 图 3-70 所 示 ， 等 竺 配置 完 成 即 可 。 


Task Name 


Reconfigure Virtual SAN cluster 


Target 





图 3-70 ”任务 进度 


E) VSAN Stretched CI. 


SS) 250 


e 


10) 在 集群 的 Manage 一 Settings 一 Virtual SAN—Fault Domains&Stretched Cluster (管理 一 设置 一 Virtual SAN 一 故障 
域 和 延伸 集群 ) 页 面 ， 可 以 验证 Virtual SAN 延 伸 集 群 的 配置 情况 。 如 图 3-71 所 示 。 


summary Monitor | Manage | Related Objects 


| setings | Scheduled Tasks | Alarm Definitions. Tags Permissions 


44 Stretched Cluster 


T SPElIVICeS 
Status Enabled 
vSphere DRS 
Prefered fault domain Preferred 
phere HA 


Witness host 10 156 174 ^2 
+ Virtual SAN = | 3 2 


General Fault Domains 


Disk Management 


Configuration can tolerate maximum 1 fault domain failures € 
Fault Domains & Stretched 
Cluster = "= e 


Health and Performance Fault Domain/Host 
» Configuration ~ B. Preferred (2 hosts) 
General E] 10.159.16.37 
Licensing E 10.159.16.38 

VMware EVC - B Secondary (2 hosts) 
VM/Host Groups 四 10.159.16.39 
VM/Hast Rules J 10.154.16.40 
VM Overrides 
Host Options 


Profiles 


4hosts |j 





图 3-71 故障 域 与 延伸 集群 


3.75 ”更 改 首选 站 点 


在 Virtual SAN 延 伸 集 群 配置 完 以 后 ， 管 理 员 可 以 根据 日 音 工 作 的 实际 需要 更 改 首 选 站 点 ， 将 辅助 站 点 配置 为 首选 站 点 ， 将 
当前 的 首选 站 点 变 为 辅助 站 点 。 管 理 员 只 需要 在 集群 的 Manage 一 Settings 一 Virtual SAN 一 Fault Domains&Stretched 
Cluster (管理 一 设置 一 Virtual SAN 一 故障 域 和 延伸 集群 ) 页面， 选中 辅助 站 点 ， 单 击 图 标 忆 ， 即 可 将 该 辅助 站 点 更 改 为 首要 站 
点 。 如 图 3-72 所 示 。 


3.7.6 ” 蔡 换 见证 主机 


见证 主机 也 可 以 根据 实际 需要 进行 更 改 ， 蔡 损 为 新 的 见证 主机 。 在 蔡 换 见证 主机 之 前 ， 请 确认 见证 主机 当前 不 在 使 用 中 ， 具 
体 配置 步骤 如 下 : 


1) 在 集群 的 Manage 一 Settings 一 Virtual SAN 一 Fault Domains&Stretched Cluster (管理 一 设置 一 Virtual SAN 一 故障 
域 和 延伸 集群 ) 页 面 ， 蛙 击 Disable 移 除 见 证 


Summary Monitor | Manage | Related Objects 


| 





‘Settings | Scheduled Tasks | Alarm Definitions | Tags | Permissions 
44 Stretched Cluster 
v Services Status Enabled 
vSphere DRS l 
Preferred fault domain — FD PrimarySite 
vSphere HA 
Witness hast | | 
« Virtual SAN 10.156.174.52 
General Fault Domains 


Disk Management 
Configuration can tolerate maximum 1 fault domain failures @ 


Fault Domains & Stretched | 





Cluster a] 区 EF — "E Í 





Health and Performance ^ riu pomsines 

» Configuration - E. FD PrimarySite (2 hosts) 
General 国 10.159.16.37 
Licensing 10.159.16.38 
VMware PVC ~ B FD. SecondarySite (2 hosts) 
VMiHost Groups E] 10.159.16.39 
vM/iHast Rules Mtas. en 
VM Overrides 
Host Options 
Profiles 


图 3-72 ”更 改 辅助 站 点 为 首要 站 点 


2) 在 确认 对 话 框 中 ， 单 击 Yes 确 认 移 除 见证 主机 。 如 图 3-73 所 示 。 


Removing the Witness host from the V SAM Stretched Cluster will 
leave itin a misconfigured state. You will still be able to use the 


JT, two fault domains. 


Remove witness host from VSAN Stretched Cluster? 





图 3-73” 移 除 见证 主机 
在 见证 主机 移 除 后 ， 集 群 将 成 为 具有 两 个 故障 域 的 标准 Virtual SAN 集 群 。 


3) 单 击 延 伸 集 群 配 置 按钮 ， 以 打开 延伸 集群 配置 向 导 ， 并 为 延伸 集群 重新 配置 新 的 见证 主机 。 如 图 3-74 所 示 。 


Stretched Cluster | Configure 


Status Disabled 


Preferred faull domain 


Witness host 





图 3-74 配置 延伸 集群 


3.8 ”通过 命令 行 创 建 Virtual SAN 集 群 


在 某 些 情况 下 ， 管 理 员 可 能 希望 通过 命令 行 的 方式 创建 Virtual SAN 集 群 ， 以 通过 脚本 实现 自动 化 运 维 。 在 本 节 ， 我 们 将 提 
供 一 套 完整 创建 Virtual SAN 集 群 的 命令 ， 以 便 读者 学 习 参 考 。 


3.8.1 “通过 命令 行 登 录 vCenter Server 


在 使 用 命令 行 之 前 ， 请 确保 您 已 安装 VMware vSphere PowerCLI, VMware vSphere PowerCLI 是 一 套 基于 Microsoft 
PowershelI 的 命令 行 工 具 ， 其 以 Powershell 语 句 为 基础 ， 专 门 为 Windows 用 户 设计 ， 用 于 系统 管理 与 自动 化 执行 。PowerCLI 
可 以 通过 如 下 方式 自动 执行 管理 任务 : 


- cmdlet， 系 统 操作 或 指令 。 

: 脚本 ， 一 组 cmdlet 指 令 及 其 关联 关系 。 

- 可 执行 文件 ， 独 立 的 应 用 程序 。 

: NET X, 

有 天 v9phere PowerCLI 的 更 多 信息 ， 请 参考 “vSphere PowerCLI UsertHGuide” , 
在 安装 好 vSphere PowerCL| 之 后 ， 双 击 等 待 启动 完成 即 可 进入 命令 行 。 


PowerCLI C:\Program File(x86)\VMware\Infrastruc-  // 跳 转 到 C:\ 目 录 下 
ture\vSphere PowerCLI> cd /*3E3& 8l 4 Jv csa.vsp- 
PowerCLI C:\> Connect-ViiServer vcsa.vsphere.local -user here.local 的 VMware 
administrator@vsphere.local -password VMwarel Il vCenter Server, -user 
Name EOD User 和 -passowrd 后 分 别 为 


vCenter ServertNHP 
vcsa.vsphere.local 443 VSPHERE.LOCALMAdministrator vob xy 


u -—J i 个 一) 


38.2 ”通过 命令 行 创建 数据 中 心 


本 节 通 过 实际 案例 演示 如 何 通 过 命令 行 创建 数据 中 心 。 


PowerCLI C:\> New-Datacenter -Location (get-folder -NoRecursion) -name 


DataCenter /* 在 vCenter 中 添加 新 的 数 
Name TEGO, 命名 为 DataCenter 
---- 并 将 目录 名 返回 。*/ 
DataCenter /*#tesxi01~03.vsp- 
PowerCLI C:\> Add-VMHost esxi0l.vsphere.local -location DataCenter here.local 38ESXi 

-user root -password VMwarel! 主机 分 别 添 加 到 新 建 的 
Name ConnectionState PowerState NumCpu CpuUsageMhz CpuTotalMhz DataCenter 中 。 每 台 主 机 
SA 添加 成 功 后 ，PowerCLI 会 
esxi01 .vsphere.local Connected PowerOn 2 0 5400 返回 添加 主机 的 状态 。*/ 


PowerCLI C:\> Add-VMHost esxi02.vsphere.local -location DataCenter -user root - 


password VMwarel! 


Name ConnectionState PowerState NumCpu CpuUsageMhz  CpuTotalMhz 

esxi02.vsphere.local Connected PowerOn 2 0 5400 

PowerCLI C:\> Add-VMHost esxi03.vsphere.local -location DataCenter -user root -password 
VMwarel! 

Name ConnectionState  PowerState NumCpu CpuUsageMhz CpuTotalMhz 

esxi03.vsphere.local Connected PowerOn 2 0 5400 


3.8.3 ”通过 命令 行 配置 Virtual SAN 网 络 


本 书 通 过 实际 案例 演示 如 何 通 过 命令 行 创建 分 布 式 交换 机 和 分 布 式 端 口 组 ， 以 及 为 ESXi 主 机 创建 用 于 Virtual SAN 流 量 和 


vM otion 流 量 的 VMKernel 端 口 。 


PowerCLI C:\> New-VDSwitch -name VDS-VSAN -location DataCenter 


Name NumPorts Mtu Version Vendor 


VDS-VSAN 0 

PowerCLI C:\> Get-VDSwitch 
name VSAN-Traffic 

Name 


1500 6.0.0 
-name VDS-VSAN | 


VMware, Inc. 


New-VDPortgroup - 


NumPorts PortBinding 


128 
-name VDS-VSAN | 


Static 
Add-VDSwitchVMHost - 


VSAN-Traffic 
PowerCLI C:\> Get-VDSwitch 


vmhost esxi0l.vsphere.local, esxi02.vsphere.local, esxi03. 
vsphere.local 

PowerCLI C:\> Snicl=get-vmhost esxi0l.vsphere.local | get- 
vmhostnetworkadapter -physical -name vmnic2 

PowerCLI C:\> Snic2=get-vmhost esxi02.vsphere.local | get- 
vmhostnetworkadapter -physical -name vmnic2 

PowerCLI C:\> $nic3-get-vmhost esxi03.vsphere.local | get- 


vmhostnetworkadapter -physical -name vmnic2 

PowerCLI C:\> Get-VDSwitch -name VDS-VSAN | Add-VDSwit- 
chphysicalnetworkadapter -vmhostphysicalnic $nicl 

Confirm 

Are you sure you want to perform this action? 

"Adding physical network adapter (s) 
'vmnic2 on target  "VDS-VSAN" 

[Y] Yes [A] Yes to A11 [N] No [L] No to A11 [S] Suspend [?] Help 

(default is “Y” ):Y 

PowerCLI C:\> Get-VDSwitch -name VDS-VSAN | Add-VDSwit- 
chphysicalnetworkadapter -vmhostphysicalnic $nic2 


Performing the operation 


, ” 


Confirm 

Are you sure you want to perform this action? 

“Adding physical network adapter(s) 
"VDS-VSAN" 


Performing the operation 


'vmnic2' " on target 


/* 在 数据 中 心中 创建 新 
的 名 为 VDS-VSAN 的 分 布 
式 交换 机 。*/ 

/* 在 新 建 的 分 布 式 交 换 机 
上 创建 名 为 VSAN-Traffic 
的 分 布 式 端 口 组 ， 并 将 创 
建 结果 返回 。*/ 


/* 将 3 台 ESXi 主 机 添加 到 
VDS-VSANL, */ 

/* 将 3 台 ESXi 主 机 上 的 
物理 网 卡 vmnic2 分 别 赋 
值 为 Snicl~$nic3 以 方 
便 调 用 。*/ 


/* 将 ESXi 主 机 esxi01. 
vsphere.local 上 的 物 
理 网 卡 vmnic2 添 加 到 分 布 
式 交换 机 VDS-VSAN。*/ 


/* 将 ESXi 主 机 esxi02. 
vsphere.local Hj 473€ 
网 卡 vmnic2 添 加 到 分 布 式 
交换 机 VDS-VSAN。*/ 


[Y] Yes [A] Yes to All [N] No [L] No to All [S] Suspend [?] Help 


(default is "Y" ):Y 


PowerCLI C:\> Get-VDSwitch -name VDS-VSAN | Add-vDSwit- 
chphysicalnetworkadapter -vmhostphysicalnic Snic3 

Confirm 

Are you sure you want to perform this action? 

"Adding physical network adapter(s) 

on target  "VDS-VSAN' . 


[N] No 


Performing the operation 
'vmnic2' " 


[Y] Yes [A] Yes to All [L] No to All [S] Suspend [?] Help 


(default is “Y” }:¥ 

PowerCLI C: New-VMHostNetwork Adapter -VMHost esxiÜül.vsphere.local 
-portgroup VSAN-Traffic -Virtual&5Switch VDS-VSAN 172.20.11.51 一 
SubnetMask 255.255.255.0 -VsanTraffic-Enabled Strue 
DhcpEnabled IP SubnetMas k 


Name Mac DeyiceName 


wrkl 8 00:50:56:68:92:4c 172.20.11.51 295,255,255 .0 ink 1 
PowerCLI C:\> New-VMHostNetwork Adapter -VMHost esxi02.vsphere.local 


-VirtualSwitch VDS-VSAN 172.20.11.52 一 


False 


—portgroup VSAN-Traffic 
SubnetMask 255.255,255,(0 -VsanTraffic-Enabled Strue 


Name Mac DhcpEnabled IP SubnetMask  DeviceName 


172.20.11.52  255.255.255.0 vmkl 
—VMHost ezsxi03i,. 


wh 00:50:56:6e:33:e4 False 


PowerCLI C:\> New-VMHostNetwork Adapter 


vsphere.local -portgroup VSAN-Traffic -VirtualSwitch 


VDS-VSAN 172.20.11.53 -SubnetMask 255.255.255.0 -Vsan- 
TratfficEnabled Strue 
Name Mac DhcpEnabled IP SubnetMask DeviceName 


172.20.11.53 255,255.255.0 — vmkl 


-name VDS-VSAN | 


vmkl  — 00:50:56:69: False 
PowerCLI C:\> Get-VDSwitch New-VDPortgroup 一 


name vMotion-Trattic 


Name NumPortsa PortBinding 

vMotion-Tratffic 128 Static 

PowerCLI C:» Snicd=get-vmhost esxiÜ0l.vsphere.local | get- 
vmhostnetworkadapter -physical -name vmnicl 

PowerCLI C:» SnicS=get-vmhost esxi02.vsphere.local | get- 
vmhostnetworkadapter -physical -name vmnicl 

PowerCLI C:» £nicó6-qget-vmhost esxi03.vsphere.local | get- 


vmhostnetworkadapter -physical -name wmnicl 


PowerCLI C:*» Get-VDSwitch -name VDS-VSAN | Add-VDSwit- 
chphysicalnetworkadapter -vmhostphysicalnic Snic4 


Confirm 


1* 将 ESXi 主 机 esxi03， 
vesphere,local 上 的 物 
理 网 卡 vmmic2 添 加 到 分 布 
A x EHLVDOS-VSAN, */ 


/*EESXitflesxi0l. 
vsphere.localk# 
#yMKernel 网络 分 配 到 
VSAN-Trafficat 3. 
ds virtual SAN 流量 
fifa. AHAI Pie hE 
为 172 .20.11.51724。*/ 


/*EESXitflesxi02. 
vasphere,local 上 新 建 
VMKernel 网 阁 分 配 到 
VSAN-Traffic4Mf 3 
组 用 于 Virtual Santi 
fe. HH ALA Phy bt A 
172.20,11,.52/24, */ 


/*#ESXi¢flesxid3. 
vephere.localk## 
VMKernelw #4 M El 
VSAN-Trafficé ii 3g 
组 用 于 Virtual saniti 
通信 ,为 其 分 配 的 IP 地 址 
为 172.20.11.53/24, */ 


+ 在 分 布 式 交换 机 VDS- 
VSAN EF tt] 3-8 XryMotion- 
TrafficHB4jgd si aO 
蛆 ， 并 将 蚀 建 结果 返回 。*V7 


i*# 将 3 省 ESXi 主 机 上 的 物 
HE Evymniclia sea 
为 Snmicd4d 和 Snic5 以 方便 
WA Fs 


Are you sure you want to perform this action? 
"Adding physical network adapter(s) 
"VDS-VSAN" , 


Performing the operation 
'vmnicl' " on target 
[Y] Yes 


(default is "Y 


[A] Yes to All 
LLI ) + 


[N] No [L] No to A11 [5] Suspend [?] Help 


PowerCLI C: Get-VDSwitch -name VDS-VSAN | 
vmhostphysicalnic SnicS 

Confirm 

Are you sure you want to perform this action? 

"Adding physical network adapter(s) 

on target “VDS-VSAN" . 

[4] Yes to All [N] No [L] No to All 


Performing the operation 
'vmnicl' " 
[Y] Yes 


[5] Suspend [?] Help 


(default is Y o:¥ 


PowerCLI C:i»- Get-VDSwitch -name VDS-VSAN | Add- 
VDSwitchphysicalnetworkadapter -vmhostphysicalnic Snic6 

Confirm 

Are you sure you want to perform this action? 

Performing the operation “Adding physical network adapter(s) 

on target “VDS-VSAN" . 


[A] Yes to All [N] No [L] No to All 


* 四 » ss 
vinnicl 


[Y] Yes [S] Suspend [?] Help 


(default is "Y" ):Y 


PowerCLI C:\> New-VMHostNetwork Adapter -VMHost esxiÛl. 


-portgroup vMotion-Traffic -Virtual&Switch 


-SubnetMask 255.255.255.0 一 


vsphere.local 
VDS-VSAN 172.20.12.51 
VsanTrafficEnabled Strue 


Name Mac DhcpEnabled IP SubnetMask DeviceName 


vinkz 00:50:565:567:6e:cb False ink z 


PowerCLI C:\> New-VMHostNetwork 


17/2,20.12,5]1 255,255, 2€5.0 


Adapter -VMHost esxi02.vsphere. local 


-portqroup vMotion-Traffic -VirtualSwitch VDS-VSAaAN 172.20.12.52 


—-SubnetMask 255.255.255.0 —VsanTraffic-Enabled Strue 


Name Mac DhcpEnabled IP SubnetMask DeviceName 


vmkz  00:50:56:6a:7c:237 False TR 256.255.255.0 wmk2 


PowerCLI C:\> New-VMHostNetwork Adapter -VMHost esxi03.vsphere.local 


—portgroup vMotion-Traffic -VirtualSwitch VDS-VSAN 172.20.12.53 
-SubnetMask 255.255.255.0 -VsanTraffic-Enabled Strue 


Name Mac DhcpEnabled  IPFP SubnetMask DeviceName 


vmk2 O0:50:56:45:36:05 False 


3.8.4 ”通过 命令 行 创 建 并 配置 Virtual SAN 集 群 


使 用 PowerCLI 配 置 Virtual SAN 集 群 : 


[二 将 已 SXi 主 机 esxi01l， 
vsphere,local 上 的 物理 
网 卡 vmni cl asa Bl ap 
de HLVDS-VSAN, */ 


Add-VDSwitchphy-sicalnetworkadapter - 


/*#ES Kitflesxid2. 
vsphere.local 上 的 物理 
网 卡 ymnici 添 加 到 分 布 式 
交换 机 WDS-VSaAN。*/ 


/+ 将 已 SXi 主 机 esxi03， 
vesphere,.local 上 的 物理 
网 卡 vymnicli 添 加 到 分 布 式 
交换 机 VDS-VSAN。*/ 


1* 在 ESXi 主 机 esxi01. 
vsphere.locallildZp3i 
VMKernel 网 络 分 配 到 
vMotion-Tratffic4- 
A. aa U d 8 Fotin E 
通信 ,为 其 分 配 的 IF 地 址 
31172.20.12.51/24, */ 


/*ÉESXitiWesxi02. 
vsphere.localldZp3i 
VMKernel 网 络 分 配 到 
vMotion-Traftfic 分 布 式 
端口 组 用 于 wvMot icn 流 基 
通信 ,为 其 分 配 的 IP 地 址 
3172.20.12.52/24, */ 


/*&ESXitilesxio03. 
vsphere.localk## 
vMKernell] sm Ej 
vMotion-Traffic^p s 
3 d£ A TwMotionitt = 
通信 ,为 其 分 配 的 IP 地 址 
3172.20.12.53/24, */ 


PowerCLI C:\> New-Cluster VSANCluster -DRSEnabled -VSANEnabled - 


Location DataCenter 


Name HAEnabled HAFailoverLevel  DRSEnabled 


DRSAutomationLevel 


VSANCluster False 1 True FullyAutomated 


PowerCLI C:\> Get-vmhost esxi0l.vsphere.local | move-vmhost - 


Destination VSANCluster 


PowerCLI C:\> Add-VMHost esxi0l.vsphere.local -location 


DataCenter -user root -password VMwarel! 


ConnectionState PowerState NumCpu CpuUsageMhz CpouTotalMhz 


esxiO0l.vsphere.local Connected PowerOn 2 47 5400 


PowerCLI C:\> Get-vmhost esxi02.vsphere.local | 


Destination VSANCluster 


move-vmhost - 


Name ConnectionState PowerState  NumCpu CpuUsageMhz CpuTotalMhz 


PowerOn 2 56 
PowerCLI C:\> Get-vmhost esxi03.vsphere.local | 
Destination VSANCluster 

ConnectionState  PowerState  NumCpu 


5400 


move-vmhost - 


esxi02.vsphere.local Connected 


Name CpuUsageMhz  CpuTotalMhz 


Poweron 2 58 


PowerCLI C:\> Disconnect-VIServer vcsa.vsphere.local 


esxi03.vsphere.local Connected 


Confirm 


Are you sure you want to perform this action? 


/* 在 DataCenter 上 创建 
新 的 集群 VSANC1uster， 
启用 DRS 和 VSAN 功 能 。*/ 


/* 将 ESXi 主 机 esxi01. 
vsphere .local 添 加 到 
VSANCluster， 并 返回 
ESXi01 主 机 的 当前 状态 
信息 。*/ 


/* 将 ESXi 主 机 esxi02. 
vsphere .local 添 加 到 
VSANCluster， 并 返回 
ESXi02 主 机 的 当前 状态 
信息 。*/ 


/* 将 ESXi 主 机 esxi03. 
Vsphere.local 添 加 到 
VSANCluster， 并 返回 
ESXi03 主 机 的 当前 状态 
信息 


/*5vCenter Server 


断 开 和 连接 。* 


Performing the operation “Disconnect VIServer’ " on target “User: vSphere.local\ 
Administrator, Server: vcsa.vsphere.local, Port: 443" 
[Y] Yes [A] Yes to All [N] No [L] No to All [S] Suspend [?] Help 


Lr 99 ) 


(default is Y :Y 


3.8.5 “通过 命令 行 创建 Virtual SAN 磁 盘 组 


由 于 Virtual SAN 磁 盘 组 直接 挂 载 在 ESXi 主 机 上 ， 因 此 我 们 需 
可 以 使 用 以 下 命令 查看 当前 ESXi 主 机 上 挂 载 的 所 有 磁盘 信息 : 


esxcli storage core device list 


运行 命令 后 获取 到 的 磁盘 信息 大 致 如 下 : 


[root@esxi0l.vsphere.local -] 
mpx.vmhba2:C0:T1:L0 


通过 ESXCLI 命 令 来 创建 磁盘 组 。 通 过 


esxcli storage core device list 


过 SSsH 登 录 ESXi 主 机 后 ， 


mpx. 


mpx. 


mpx. 


Display Name: 


Size: 953344 


vmhba2 :C0:T2 


Display Name: 


Size: 953344 


vmhba2 :C0:T3 


Display Name: 


Size: 762496 


vmhba2 :CO0:T4À: 
Display Name: 


Size: 953344 


Local 


:LO 


Local 


: LO 


Local 


LO 


Local 


DELL 


DELL 


DELL 


DELL 


Disk 


Disk 


Disk 


Disk 


(naa.6b8ca3a0e81efb001d9537827336de36) 


(naa. 6b8ca3a0e81efb001d95378473543 634) 


(naa. 6b8ca3a0e8lefb001d9537817328d2eb) 


(naa. 6b8ca3a0e81lefb001d9537837344e93 £) 


列 出 的 信息 中 mpx.vmhba2: XXX 开头 的 即 为 挂 载 在 ESXi 主 机 上 的 物理 磁盘 ， 根 据 实际 情况 ， 演 示 中 的 mpx.vmhba2: 
CO: T3: L073800GB SSD， 其 余 为 1T SATA HDD。 我 们 可 以 通过 以 下 命令 将 其 组 成 一 个 Virtual SANH. 


Esxcli 


vsan storage add 


--ssd mpx.vmhba2:C0:T3:L0 


--disks mpx.vmhba2:C0:T1:L0 


--disks mpx.vmhba2:C0:T2:L0 --disks mpx.vmhba2:CO0:T4:L0 


磁盘 组 创建 完成 后 ， 可 以 通过 命令 esxcli vsan storage list 进 行 验证 。 如 下 所 示 ， 列 出 的 信息 中 4 块 磁盘 的 VSAN Disk 
Group UUID 与 VSAN Disk Group Name 均 相同 。 这 说 明 4 块 磁盘 在 同一 个 磁盘 组 中 。In CMMDS: true 襄 明 该 磁盘 正在 入 
Virtual SAN 使 用 。 


[root@ esxi0l.vsphere.local -] 


mpx.vmhba2 :C0:T1:L0 
Local VMware Disk(mpx.vmhba2:C0:T1:L0) 


mpx. 


Display Name: 


Is SSD: 
VSAN UUID: 


VSAN Disk Group UUID: 
VSAN Disk Group Name: 


false 

5222a7a8-e131-f447-c0ae-c03091827164 
52324ee2-a257-2ec9-9a2d-df089ed4acla 
naa. 6b8ca3a0e81efb001d9537817328d2eb 


true 


Used by this host: 


In CMMDS: 


vmhba2 :C0:T2 


Display Name: 


Is SSD: 
VSAN UUID: 


VSAN Disk Group UUID: 
VSAN Disk Group Name: 


false 

523dba6f-cde9-d591-4526-da8ac68a8f27 
52324ee2-a257-2ec9-9a2d-df089ed4acla 
naa.6b8ca3a0e81efb001d9537817328d2eb 


crue 


:LO 


esxcli vsan storage list 


Local VMware Disk(mpx.vmhba2:C0:T2:L0) 


Used by this host: 


In CMMDS: 


true 


true 


mpx.vmhba2:C0:T3:L0 
Display Name: Local VMware Disk(mpx.vmhba2:C0:T3:L0) 
Is SSD: true 
VSAN UUID: 52324ee2-a257-2ec9-9a2d-df089ed4acla 
VSAN Disk Group UUID: 52324ee2-a257-2ec9-9a2d-df089ed4acla 
VSAN Disk Group Name: naa.6b8ca3a0e81efb001d9537817328d2eb 
Used by this host: true 


In CMMDS: true 


mpx.vmhba2:C0:T3:L0 
Display Name: Local VMware Disk(mpx.vmhba2:C0:T3:L0) 
Is SSD: false 
VSAN UUID: 525043d0-24a2-d29c-33fb-4f345bc4335e 
VSAN Disk Group UUID: 52324ee2-a257-2ec9-9a2d-df089ed4acla 
VSAN Disk Group Name: naa.6b8ca3a0e81efb00189537817328d2eb 
Used by this host: true 


In CMMDS: true 


通过 
N 


通过 命令 行 创建 Virtual SAN 集 群 可 以 帮助 管理 员 进 行 自动 化 运 维 ， 以 减轻 日 常 工作 中 的 负担 ， 提 高 运营 效率 。 管 理 员 可 以 
过 登录 vSphere Web Client 对 命令 行 的 配置 进行 验证 。 


39 “本章 小 结 


本 章 主 要 介绍 了 如 何 配置 标准 的 Virtual SAN 网 络 、Virtual SAN 和 集群 ， 如 何 创建 磁盘 组 、 配 置 Virtual SAN 故 障 域 以 及 跨 站 
点 Virtual SAN 的 配置 ， 并 且 在 最 后 给 出 通过 命令 行 创建 Virtual SAN 集 群 的 案例 以 帮助 vSphere 管 理 员 更 好 地 完成 自动 化 运 维 。 


由 于 Virtual SAN 的 分 布 式 存储 特性 ， 在 部 署 Virtual SAN 的 过 程 中 ， 正 确 配 置 主机 网 络 是 至 关 重 要 的 。 


第 4 草 ”基于 和 存储 策略 的 官 


Virtual SAN 使 用 虚拟 机 存储 策略 来 确保 虚拟 机 的 性 能 和 可 用 性 要 求 得 到 满足 。 通 过 使 用 基于 存储 策略 的 管理 (SPBM) , 
用 尸 可 以 快速 响应 性 能 的 改变 和 可 用 性 需求 ， 并 且 在 不 进入 维护 模式 的 前 提 下 创建 和 升级 虚拟 机 的 存储 需求 。 本 章 主 要 介 
Virtual SAN 支 持 的 虚拟 机 存储 策略 以 及 如 何 定义 虚拟 机 存储 策略 ， 同 时 也 介绍 了 基于 存储 策略 的 省 理 如 何 帮 助 用 尸 快速 响应 性 
能 的 改变 和 可 用 性 需 


4.1 存储 策略 的 工作 原理 


1.Virtual SAN 与 基于 存储 策略 的 管理 


基于 和 存储 策略 的 管理 是 Virtual SAN 中 最 核心 的 组 件 ， 其 以 策略 的 形式 根据 用 户 需 求实 现 灵活 的 对 象 数据 分 布 、 安 全 级 别 等 


功能 。 在 虚拟 机 的 整个 生命 周期 ，Virtual SAN 会 监控 并 报告 其 策略 合 规 性 。 如 果 策略 变 得 不 合 规 ，Virtual SAN 会 执行 修复 操作 
重新 配置 受 影响 虚拟 机 的 数据 ， 并 在 整个 集群 上 优化 使 用 贷 源 。 在 正常 工作 负载 下 ， 重 新 配置 过 程 会 有 轻微 的 性 能 影响 。 

仔 储 策略 为 虚拟 机 定义 了 一 个 需求 集 。 存 储 策略 的 关键 特性 主要 包含 以 下 几 方 面 : 

基于 Virtual SAN 功 能 的 策略 。 

- 可 以 在 任何 时 间 更 改 。 

“ 受 兼容 性 监控 。 

. 当 对 象 创建 时 ， 要 求 被 提供 给 Virtual SAN 层 。 

2.Virtual SAN 存 储 提 供 程序 


存储 提供 程序 内 建 于 vSphere， 或 者 由 第 三 方 通过 VMware vSphere API 提 供 。 存 储 提供 程序 从 存储 阵列 中 收集 关于 可 用 性 
存储 拓扑 、 容 量 和 状态 的 信息 。 这 些 信息 既 可 以 来 自 外 部 存储 提供 程序 (如 虚拟 千 ) ， 又 可 以 来 自 内 部 仓储 提供 程序 (如 
Virtual SAN) , 


当 Virtual SAN 司 用 时 ，Virtual SAN 存 储 提供 程序 通过 使 用 针对 存储 感知 的 VMware vSphere APIBIZ/J7J& &zE JUI] 
vCenter Server 进 行 注册 ， 而 且 Virtual SAN 数 据 和 存储 将 自动 创建 。Virtual SAN 存 储 提供 程 序 会 向 vCenter Server 报 告 一 组 基础 
仔 储 器 功能 。 此 外 ， 它 们 还 将 与 Virtual SAN 层 进行 通信 ， 报 告 虚 拟 机 的 存储 要 求 。 有 关 存 储 提供 程序 的 更 多 信息 ， 请 参见 

《vSphere 和 存储 》 文 档 。 


读者 可 以 在 启用 Virtual SAN 后 ， 在 Home 一 Inventories 一 vCenter Inventory Lists (主页 一 清单 一 vCenter 清 单列 表 ) 中 
导航 到 Resource (资源 ) 页 面 下 的 vCenter Servers， 选 中 当前 的 vCenter Server， 在 Manage 一 Storage Providers (管理 一 存 
储 提供 程序 ) 中 查看 Virtual SAN 人 存储 提供 程序 ， 如 图 4-1 所 示 。 此 时 Virtual SAN 的 存储 提供 程序 均 显示 在 列表 中 。 每 台 主 机 均 
拥有 一 个 存储 提供 程序 ， 但 只 有 一 个 处 于 活动 状态 。 属 于 其 他 主机 的 存储 提供 程序 处 于 等 待 状态 。 如 果 存 储 提供 程序 当前 处 于 活 
动 状态 的 主机 友 生 故障 ， 另 一 主机 的 存储 提供 程序 将 被 激活 。 


Getting Started Summary Monitor | Manage | Related Objects 


Y 
| 


Settings | Scheduled Tasks | Alarm Definitions | Tags | Permissions | Sessions | Storage Providers | 





Storage Providers 


十 B x Group by: | Storage provider |v |(Q Filter ~ 





Storage Provider/Storage System Status Active/Standby Priority URL Last Rescan Time — VASA API Ve“ 
v VSAN Provider 10.159.16.38 Online -- -- https:/10.159.16.38:8080/versio.. | 4/20/2016 4:0.. 1.5 
vsanDatastore (4/4 online) Standby 
v VSAN Provider 10.159.16.37 Online -- -- https://10.159.16.37:8080/versio.. | 4/20/2016 4:0... 
vsanDatastore (4/4 online) Active 
v VSAN Provider 10.159.16.39 Online -- -- https://10.159.16.39:8080/versio... 
vsanDatastore (4/4 online) Standby 
v VSAN Provider 10.159.16.40 Online -- -- https://10.159.16.40:8080/versio... 
ysanDatastore (4/4 online) Standby 
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iM 8items | 四 ~ 


Storage Provider Details 


ceneral RN 


Supported vendor IDs 
Provider name VSAN Provider 10.159.16.38 


Certificate info 
Provider status Online 
Active/standby status 
Activation Automatic 
URL https://10.159.16.38:8080/version.xml 


Provider version 1.0 





图 4-1 查看 Vittual SAN 存 储 提 供 程序 


Qus 管理 员 无 法 手动 取消 注册 Virtual SAN 使 用 的 存储 提供 程序 。 如 果 需 要 移 除 或 取消 注册 的 Virtual SAN 存 储 提供 程 
序 ， 请 从 Virtual SAN 集 群 移 除 相应 的 主机 ， 然 后 再 重新 添加 主机 ， 确 保 至 少 有 一 个 存储 提供 程序 处 于 活动 状态 。 


3. 人 存储 策略 


存储 策略 用 于 定义 虚拟 机 存储 要 求 ， 如 性 能 和 可 用 性 。Virtual SAN 需 要 确保 部 署 在 Virtual SAN 数 据 存储 中 的 虚拟 机 至 少 被 
分 配 了 一 种 虚拟 机 存储 策略 。 如 果 正 在 部 署 的 虚拟 机 没有 分 配 具体 的 存储 策略 ，Virtual SAN 会 为 虚拟 机 分 配 默 认 的 存储 策略 。 
如 果 定 义 的 策略 没有 被 应 用 到 Virtual SAN 数 据 存储 ， 那 么 丈 会 使 用 Virtual SAN 的 默认 存储 策略 。 一 旦 Virtual SAN 被 局 用 ， 虚 
拟 机 的 存储 策略 天 会 被 立刻 激活 。 


4. 存 储 策略 和 VM DK 


虚拟 机 的 每 块 虚拟 磁盘 (VMDK) 都 可 以 分 配 不 同 的 存储 策略 。 一 些 拥 有 多 块 YMDK 的 虚拟 机 可 能 需要 针对 不 同 的 磁盘 分 
配 不 同 的 存储 策略 。 例 如 ， 在 数据 库 服务 器 中 ， 虽 然 数 据 库 正 在 经 历 持 续 的 更 改 ， 但 是 服务 器 操作 系统 依旧 可 以 相对 简单 地 被 蔡 
换 。 通 过 定义 精准 的 存储 策略 ， 可 以 确保 数据 库 盘 比 系统 盘 通 过 条 市 化 分 布 在 更 多 的 磁盘 中 。 这 一 策略 同时 也 可 以 确保 数据 库 获 
取 所 需 的 性 能 。 


5. 规 则 集 


规则 集 是 定义 存储 策略 存储 要 求 的 指导 原则 。 存 储 策略 可 以 包含 多 个 规则 集 ， 这 些 规则 集 定 义 了 虚拟 机 存储 策略 的 存储 要 
求 。 如 图 4-2 所 示 。 


ES Create New VM Storage Policy 


w^ 1 Name and description Rule-Sets 
AVM storage policy consists of rules that describe requirements for the storage resources. The policy can include multiple rule- 
v^ 2 Rule-Sets sets describing the storage resource requirements for different datastore types. 


2a Rule-Set 1 The VM storage policy will match datastores that satisfy all the rules in at least one of the rule-sets. 


3 Storage compatibility 


4 Ready to complete Gold Storage Policy 


Rule-set 1 Rule-set 2 | Rule-set 3 


Datastore type 1 Datastore type 2 Gold tags 





图 4-2 MM) 


4.2 ”虚拟 机 仓储 案 略 的 管理 


当 Virtual SAN 在 集群 中 局 用时， 默认 的 Virtual SAN 人 存储 策略 随 之 创建 并 部 署 。 管 理 员 可 以 在 Home 一 Monitoring 一 VM 
Storage Policies (主页 一 监控 一 虚拟 机 存储 策略 ) 中 ， 查 看 当前 Virtual SAN 中 已 有 的 虚拟 机 存储 策略 。 如 图 4-3 所 
示 ，vSphere 默 认 自 带 两 个 虚拟 机 存储 策略 ， 分 别 为 Virtual SAN Default Storage Policy 和 VVol No Requirements Policy, 


ES Virtual SAN Default Storage Policy 
ES VVol No Requirements Policy 


Name Description 
Es Virtual SAN Default Storage... | Storage policy used as default f... 


ES Wol No Requirements Policy 1| Allow the datastore to determine... 





图 4-3 ”虚拟 机 存储 策略 


1) Virtual SAN Default Storage Policy。 该 策略 是 部 署 在 Virtual SAN 数 据 存储 上 虚拟 机 的 默认 虚拟 机 存储 策略 。 图 4-4 所 
示 为 该 庶 拟 机 和 存储 策略 的 默认 配置 ， 其 包 售 了 一 个 存放 所 有 默认 策略 的 规则 集 。 虚 拟 机 的 默认 策略 允许 的 故障 数 为 1， 磁 盘 条 市 
宽度 为 1， 强 制 置 备 关闭， 对象 空 间 预 留 为 0%，| 凡 存 读 取 缓存 预 留 为 0%。 


ES Virtual SAN Default Storage Policy. Edit VM Storage Policy 


Name and description Rule-Set 1 
Select rules specific for a datastore type. Rules can be based on data services provided by datastore or based on tags. 


Rule-Set1 = = = = The VM storage policy will match datastores that satisfy all the rules in at least one ofthe rule-sets. 


Storage compatibility 
Rules based on data services VSAIN v Storage Consumption Model 


Number of failures to tolerate @ 1 ee 
| E — —s d would consume: 





Number of disk stripes per object €9 1 Storage space 

| 200.00 GB 

Force provisioning 9 NO | Initially reserved storage space 
0.00 B 


Reserved flash space 
0.00 B 








Object space reservation (96) O 0 





Flash read cache reservation (%) @ (0.0000 





«Add rule» [= 





| Cancel 





图 4-4 虚拟 机 默认 存储 策略 

2) VVol No Requirements Policy。 该 策略 用 于 虚拟 卷 (Virtual Volumes) ， 不 适用 于 Virtual SAN, 
虚拟 机 仓储 策略 具体 有 8 种 可 供 选 择 的 功能 。 舍 理 员 可 以 根据 实际 需要 企 仓储 策略 中 加 入 相应 的 功能 。 这 些 功能 包括 : 
- 允许 的 故障 数 (Number of Failures to Tolerate, FTT) 

` 每 个 对 象 的 磁盘 条 带 数 (Number of Disk Stripes per Object) 

- 强制 置 备 (Force Provisioning) 

- 对 象 空间 预 留 (Object Space Reservation) 

闪存 读 取 缓存 预 留 (Flash Read Cache Reservation) 

- 容错 方法 (Failure Tolerance Method) 

- 对 象 的 IOPS 限 制 (LOPS Limit for Object) 

- 禁用 对 象 校 验 和 (Disable Object Checksum) 
下 面 我 们 将 详细 介绍 这 8 种 功能 。 

1. 允 许 的 故障 数 


允许 的 故障 数 定 义 了 在 集 群 中 仍 能 保证 仓储 对 象 可 用 的 情况 下 ， 人 多 许 出 现 的 主机 、 网 络 或 磁盘 同时 友 生 故障 的 数量 。 如 果 虚 
拟 机 存储 策略 中 配置 了 这 个 属性 ， 那 么 存储 对 象 中 必须 至 少 包 含 n + 1 个 副本 。 配 置 中 也 可 以 包含 额外 数量 的 见证 主机 。 见 证 主 
机 可 以 在 具体 数量 的 主机 故障 友 生 后 ， 确 保 对 象 数 据 的 可 用 。 将 单 台 主机 上 的 磁盘 故障 作为 故障 的 度量 单位 。 在 默认 情况 下 ， 允 
许 故 障 数 为 1， 最 大 可 以 设置 为 3。 需 要 注意 的 是 ， 如 果 人 允许 的 故障 数 设 为 1， 那 么 在 两 合 主机 上 各 有 一 块 磁盘 同时 友 生 故障 时 ， 
对 象 将 无 法 保持 数据 可 用 。 


允许 故障 数 的 最 大 值 : 允许 故障 数 的 最 大 值 依 赖 于 集群 中 的 主机 数 和 故障 域 数 量 。 如 果 用 户 需要 人 在 可 以 容忍 n 个 故障 的 情况 
下 运行 ， 那 残 需要 2n + 1 台 主 机 。 当 允许 故障 数 分 别 为 1~3 时 ， 需 要 的 主机 数 具体 如 下 : 


- 允许 1 个 故障 ， 需 要 3 人 台 主 机 。 
. 允许 2 个 故障 ， 需 要 5 人 台 主 机 。 
允许 3 个 故障 ， 需 要 7 台 主 机 。 
2. 每 个 对 象 的 磁盘 条 市 数 (条 市 宽度 ) 


每 个 对 象 的 灰 盘 条 市 数 定义 了 存储 对 象 的 每 个 副本 条 市 化 后 横 跨 物理 磁盘 的 数量 。 在 实际 中 ， 为 了 便于 探讨 ， 我们 一 般 把 每 
个 对 象 的 磁盘 条 带 数 称 为 条 带宽 度 。 当 用 户 将 该 值 设置 为 大 于 1 时 ， 可 以 获得 更 好 的 性 能 ， 但 是 与 此 同时 也 会 导致 系统 被 占用 更 
多 的 资源 。 通 单 情况 下 ， 默 认 条 市 金 硫 为 1 残 可 以 满足 绝 大 多 数 需求 。 如 果 用 户 希 望 某 台 虚 拟 机 获得 更 好 的 磁盘 性 能 ， 可 以 单独 
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条 带宽 度 的 效率 : 条 带宽 度 的 效率 需要 分 为 以 下 两 个 部 分 来 分 别 进行 探讨 。 
(1) 写 操作 
因为 所 有 的 写 操作 都 会 先进 入 SSD 缓 存 ， 因 此 条 带宽 度 的 增加 不 一 定 能 改善 性 能 。 这 是 由 于 无 法 确保 新 增加 的 条 带 会 使 用 不 


同 的 99D， 因 为 新 的 条 市 可 能 与 原 有 条 市 在 同一 个 磁盘 组 上 〈 昌 然 它们 在 不 同 的 磁盘 上 ) ， 它 们 共用 一 块 SSD。 新 增加 的 条 市 宽 
度 可 能 会 在 频繁 写 入 时 增加 SSD 缓 存 的 写 入 量 ， 导 致 SSD 的 常规 垃圾 回收 机 制 被 压 幸 ， 磁 盘 被 写 穿 。 


(2) 读 操 作 


从 读 取 的 角 硫 来 讲 ， 增 加 条 市 宽度 会 在 读 缓 仔 未 命中 时 帮助 提高 读 取 性 能 。 例 如 ， 如 果 虚 拟 机 每 秒 钟 消耗 4000 个 读 操 
作 ，90% 可 以 读 缓 仔 命 中。 那么 剩余 的 400 个 读 操 作 必 须 直接 从 机 械 磁 盘 中 读 取 ， 而 单 块 硬盘 驱动 器 无 法 满足 这 么 多 的 读 操 作 ， 
因此 增加 条 市 宽度 在 读 操 作 中 是 有 效 的 。 


3. 强 制 置 备 


通过 强制 置 备 ， 管 理 员 可 以 强行 设置 具体 的 存储 策略 ， 即 使 数据 存储 无 法 满足 该 存储 策略 。 在 局 用 强制 置 备 后 ，Virtual 
SAN 会 时 刻 监控 人 存储 案 略 配置 的 对 象 ， 一 旦 数据 仓储 资源 满足 仓 储 委 略 要 求 ，Virtual SAN 束 会 使 对 象 符合 其 兼容 性 要 求 。 例 
如 ,一 台 虚 拟 机 在 部 署 时 ， 使 用 强制 置 备 设置 存储 策略 的 允许 故障 数 为 2。 在 前 面 介绍 允许 故障 数 时 我 们 已 经 提 到 ， 若 允许 故障 
数 为 2， 集 群 中 需要 至 少 5 台 主 机 。 通 过 使 用 强制 置 备 ， 虚 拟 机 可 以 以 允许 故障 数 为 0 且 条 市 宽度 为 1 进行 部 署 。 当 额外 的 主机 可 
用 时 ，Virtual SAN 会 主动 使 虚拟 机 兼容 性 满足 其 存储 策略 要 求 。 在 默认 情况 下 ， 强 制 置 备 是 关闭 的 。 


4. 对 和 象 空间 预 留 


对 象 空间 预 留 功能 定义 了 在 初始 化 阶段 Virtual SAN 预 留 给 存储 对 象 的 逻辑 对 象 的 百分比 。 在 默认 情况 下 ，Virtual SAN 上 部 
署 的 所 有 对 象 都 是 精简 置 备 的， 而 预 留 仓储 是 厚 备 延迟 置 零 。 厚 备 延 迟 置 零 可 以 在 部 署 时 用 于 信 算 总 空间 ， 但 并 不 消耗 实际 空 
间 。 其 以 最 小 挂 载 容 量 预 留 空间 。 及 用 厚 备 延 迟 置 零 的 虚拟 机 虽然 以 精简 置 备 部 署 ， 但 是 其 可 用 空间 已 在 Virtual SAN 数 据 存 储 
中 提前 预 留 。 在 默认 情况 下 ， 对 象 预 留 空间 设置 为 0%， 其 最 大 值 可 以 设置 为 100%。 


5. J Eres IES 


闪存 读 取 缓存 预 留 的 值 具体 配置 了 在 SSD 上 为 存储 对 象 读 取 缓存 预 留 的 内 存 容量 的 大 小 ， 该 值 可 以 以 百分比 的 形式 精确 到 小 
数 点 后 4 位 。 之 所 以 在 如 此 精细 的 烽 度 上 给 予 管 理 员 配置 权 ， 是 因为 当 磁 盘 容 量 大 于 1TB 时 ，1% 的 增 减 束 意味 着 10GB 读 取 缓 存 
预 留 的 增 减 ， 这 在 大 多 数 情 况 下 对 于 单 台 虚拟 机 来 说 都 太 多 了 。 


在 实际 使 用 中 ， 用 户 不 必 为 获取 缓存 设置 预 留 值 。 因 为 为 具体 虚拟 机 预 留 的 内 存 容量 不 能 用 于 其 他 对 象 ， 而 未 预 留 的 闪存 可 


UHARAKA. BREAKER 1 SCIRBJPEBEIR SRL] SEAR ABA), AUAI. AEN 
缓存 预 留 默认 设 为 0%， 该 值 最 大 可 以 设置 为 100%。 


6. 容 错 万 法 


容错 方法 是 Virtual SAN6.2 引 入 的 新 虚拟 机 存储 策略 ， 其 用 于 具体 配置 数据 副本 针对 性 能 或 容量 进行 优化 。 如 果 选 择 RAID- 
1 (Mirroring) -Performance, Virtual SAN 会 使 用 较 多 的 磁盘 空间 存放 对 象 的 组 件 以 提供 更 好 的 访问 性 能 。 如 果 选 择 RAID- 
5/6 (Erasure Coding) -Capacity, Virtual SAN 会 使 用 较 少 的 磁盘 空间 但 性 能 会 有 所 下 降 。 关 于 更 多 RAID-5/6 的 配置 信息 ， 
请 查看 5.2.5 节 。 


7. 对 象 的 |OPS 限 制 


该 功能 可 用 于 对 虚拟 机 的 对 象 进行 IOPS 限 制 (QoS) ， 如 VMDK。 如 果 磁 盘 的 IOPSs 超 过 了 限制 ，MO 操 作 会 受到 限制 。 对 
象 的 I|OPS 限 制 默 认为 0%， 其 表示 当前 IOPS 限 制 关闭 。 此 外 ，Virtual SAN 人 允许 受 IOPS 限 制 的 对 稼 在 MO 操作 的 一 秒 内 IOPS 达 到 限 
制 值 的 两 倍 以 应 对 突 友 I/O 操 作 。 


8. 茶 用 对 象 校 验 和 和 


如 果 该 选项 设置 为 No， 则 对 象 计算 校 验 和 信息 以 确保 数据 完整 。 如 果 设 置 为 Yes， 则 对 象 不 会 计算 校 验 和 信息 。Virtual 
SAN 通 过 使 用 端 到 端的 校 验 和 以 确保 数据 完整 ， 系 统 会 在 读 写 操作 期 间 检 查 校 验 数 据 ， 如 果 侦 测 到 错误 ， 则 对 数据 进行 修复 。 
所 有 的 校 验 和 与 纠 错 操作 都 是 在 Virtual SAN 后 台 完成 的 。 


4.3. XEM RETI VETERES 


虚拟 机 存储 策略 在 VMware 软 件 定义 存储 视角 的 基础 上 形成 。 相 对 于 直接 将 虚拟 机 部 署 在 数据 存储 之 中 ， 在 虚拟 机 初始 化 部 
署 时 即 可 选择 虚拟 机 存储 策略 。 策 略 中 包 售 了 虚拟 机 需要 的 特性 与 存储 功能 。 


4.3.1 创建 虚拟 机 存储 策略 


创建 虚拟 机 存储 策略 的 具体 步 又 如 下 : 


1) 在 Home 一 Monitoring 一 VM Storage Policies (主页 一 监控 一 虚拟 机 存储 策略 ) 中 ， 单 击 Object 下 方 的 以 创建 新 的 虚 
拟 机 存储 策略 。 如 图 4-5 所 示 ， 在 Name 中 对 新 建 的 虚拟 机 存储 策略 进行 命名 ， 可 以 在 Description 中 对 新 建 的 虚拟 机 存储 策略 进 
行 摘 述 ， 单 击 Next 继 续 。 


^ 1 Name and description Name and description 


Enter a name and (optional) description 
2 Rule-Sets 


2a Rule-Set 1 


vCenter Server. |10.110.187.206 |~| 
3 Storage compatibility 


Name: VM Storage Policy Lab 
4 Ready to complete 


Description: 





Finish | Cancel 
图 4-5 ”创建 虚拟 机 存储 策略 


2) 在 Rule-Sets 栏 ,创建 虚拟 机 存储 策略 向 导 对 规则 集 进行 相应 介绍 ， 如 图 4-6 所 示 ， 单 击 Next 继 续 。 


w^ 1 Name and description Rule-Sets 
AVM storage policy consists of rules that describe requirements for the storage resources. The policy can include multiple rule- 
v sets describing the storage resource requirements for different datastore types. 
2a Rule-Set 1 The VM storage policy will match datastores that satisfy all the rules in atleast one ofthe rule-sets. 
3 Storage compatibility 


4 Ready to complete Gold Storage Policy 


Rule-set 1 1 Rule-set 2 E Rule-set 3 


Datastore type 1 Datastore type 2 Gold tags 





Finish | Cancel | 


aH 


E4-6 um] 4& 


3) 在 Rule-Set1 中 ， 默 认 创建 了 第 一 个 规则 集 。 在 Rules based on data services 中 单 击 下 拉 菜 单 选择 需要 应 用 规则 集 的 数 
据 存 储 。 如 图 4-7 所 示 ， 选 中 VSAN。 


Select rules specific for a datastore type. Rules can be based on data services provided by datastore or based on tags. 
The VM storage policy will match datastores that satisfy all the rules in atleast one ofthe rule-sets. 


Rules based on data services 
- Rom OO 


VSAN 


Rules based on tags 


Add tag-based rule... 





图 4-7 选择 需要 应 用 规则 集 的 数据 存储 


4) 单 击 下 拉 荣 单 选择 需要 添加 的 规则 ， 如 图 4-8 所 示 。 


Select rules specific for a datastore type. Rules can be based on data services provided by datastore or based on tags. 
The VM storage policy will match datastores that satisfy all the rules in atleast one ofthe rule-sets. 


Rules based on data services | VSAN | v 


«Add rule» 

«Add rule» 

Number of disk stripes per object 
Flash read cache reservation (96) 
Number offailures to tolerate 
Force provisioning 

Object space reservation (%) 





图 4-8 ”选择 需要 添加 的 规则 


5) 在 创建 好 一 个 规则 以 后 ， 管 理 员 可 以 根据 需要 继续 添加 规则 ， 如 图 4-9 所 示 。 


Select rules specific for a datastore type. Rules can be based on data services provided by datastore or based on tags. 
The VM storage policy will match datastores that satisfy all the rules in atleast one ofthe rule-sets. 


Rules based on data services SAN ss ww Storage Consumption Model 
Number of failures to tolerate €9 因 Avirtual disk with size 100 GB 
would consume: 


| «Add rule» > 


Storage space 
200.00 GB 


Rules based on tags Initially reserved storage space 
0.00 B 


| Add tag-based rule... | Reserved flash space 


0.00 B 





图 4-9 ”创建 规则 


6) 当 所 有 规则 都 创建 完毕 后 ,省 理 员 可 以 在 页 面 右 侧 看 到 相应 规则 集 存储 开销 的 模拟 估算 。 如 图 4-10 所 示 ， 人 在 允许 故障 数 
为 1 和 条 市 宽 硫 为 3 的 情况 下 ， 添 加 一 个 大 小 为 100cB 的 虚拟 磁盘 ， 需 要 占用 200GB 的 仓储 容量 。 但 由 于 Virtual SAN 在 默认 情 ) 
下 采用 精简 配置 部 署 虚 拟 机 ， 因 此 初始 预 留存 储 空间 和 预 留 闪 存 空 间 均 为 0B。 单 击 Next 继 续 。 


Select rules specific for a datastore type. Rules can be based on data services provided by datastore or based on tags. 
The VM storage policy will match datastores that satisfy all the rules in atleast one ofthe rule-sets. 


Rules based on data services VSAN sd ww | Storage Consumption Model 


would consume: 


Pree 200.00 GB 
| «Add rule» | > 


Initially reserved storage space 
0.00 B 


Reserved flash space 


Oe EE. I oeiLDUGGGQqidi) -KÁGL GLILHGGGL 0.00 B 
| Add tag-based rule... | 


Rules based on tags 





图 4-10 ”存储 开销 的 模拟 估算 


7) 在 Storage compatibility 栏 ， 可 以 看 到 当前 创建 的 虚拟 机 和 存储 策略 的 兼容 情况 。 如 图 4-11 所 示 ， 由 于 实验 环境 中 只 创建 
了 Virtual SAN 数 据 存储 ， 因 此 可 以 看 到 当前 虚拟 机 存储 策略 兼容 Virtual SAN 数 据 存储 ， 无 不 兼容 数据 存储 。 单 击 Next 继 续 。 


ES Create New VM Storage Policy (2?) M 


w^ 1 Name and description Storage compatibility 
As defined, this VM storage policy is compatible with the following storage: 
w 2 Rule.Sets 


d 2a Rule-Set 1 e 


Za 3 Storage compatibility Storage Compatibility 


Total Capacity Virtual SAN Capacity Virtual Volumes Cap... VMFS Capacity 
w 4 Readyto complete Compatible 


11.53 TB 11.53 TB 0.00 B 0.00 B 
Incompatible 0.00 B 0.00 B 0.00 B 


NFS Capacity 


0.00 B 
0.00 B 0.00 B 


Compatible storage 


LT. 
5 - 
一 


Name 


| Q Filter 


Datacenter Type Free Space Capacity Warnings 


E3 vsanDatastore DC-ALLL-FLA.. | vsan 3.32 TB 11.53 TB 





Finish Cancel 
图 4-11 存储 兼容 性 验证 


8) 在 Ready to complete 栏 ， 可 以 检查 之 前 通过 向 导 对 新 建 虚 拟 机 仓储 策略 进行 的 所 有 设置 。 如 图 4-12 所 示 ， 确 认 检 验 正 
确 后 ， 单 击 Finish 完 成 配置 。 


9) 虚拟 机 存储 策略 创建 完成 后 ， 可 以 在 Objects 看 到 成 功 创建 的 虚拟 机 存储 策略 ， 如 图 4-13 所 示 。 


ES Create New VM Storage Policy 


Ready to complete 


1 Name and description 
Confirm that the information below is correct and click Finish to create the VM storage policy. 


2 Rule-Sets 
2a Rule-Set 1 
General 
3 Storage COTDUUDIKy Name New VM Storage Policy 


4 Readyto complete Description 
vCenter Server 10.156.171.38 


Rule-Set 1: VSAN 


Number of disk stripes per 3 
object 


Number of failures to tolerate 1 


Finish Cancel 





图 4-12 Ready to complete 


ES VM Storage Policies 
| Objects | 


ES 


Name Description 


ES Virtual SAN Default Storage... | Storage policy used as default f... 
Es VVol No Requirements Policy | Allow the datastore to determine... 


Er VM Storage Policies Lab 





A413 ”虚拟 机 存储 策略 


4.3.2 ”分 配 庶 拟 机 存储 策略 


Virtual SAN 数 据 存 储 的 默认 存储 策略 应 该 拥有 一 个 可 以 广泛 应 用 在 虚拟 机 上 的 规则 集 。 独 立 的 虚拟 机 应 该 拥有 定制 的 存储 
策略 ， 该 存储 策略 可 以 在 必要 时 覆 匡 原 有 的 默认 存储 策略 。 另 外 ， 当 大 多 数 虚 拟 机 使 用 默认 存储 策略 时 ， 策 略 管 理 和 合 规 性 所 占 
用 的 负载 开销 是 最 小 的 。 分 配 虚 拟 机 存储 策略 有 两 种 情况 ， 我 们 将 分 别 进行 介绍 。 

1. 部 署 新 的 虚拟 机 

在 部 署 新 的 虚拟 机 时 ， 省 理 员 可 以 在 选择 存储 页 面 选 择 虚 拟 机 存储 策略 ， 如 图 4-14 所 示 。 

2. 修 改 现 有 虚拟 机 存储 策略 


管理 员 也 可 以 在 现 有 虚拟 机 上 分 配 新 的 虚拟 机 存储 策略 ， 修 改 现 有 虚拟 机 的 虚拟 机 存储 策略 步骤 如 下 。 在 进行 实验 演示 前 ， 
我 们 已 经 以 Virtual SAN 默 认 和 存储 策略 部 署 了 一 台 名 为 Ubuntu 的 虚拟 机 .。 


Select storage 


Select location to store the files for the deployed template 
1a Select source 


1b Review details Select virtual disk format | As defined in the VM storage policy 


1c Accept License l 
^ Agreements VM Storage Policy: Datastore Default z) O 


2 Destination The following datastores dba bi dt at you selected. Selectthe destination datastore for the 
virtual machine configurati VSAN-noCheckSum 


Es Wol No Requirements Policy Type Storage DRS 


Virtual SAN Default Storage Policy 


VY 2a Select name and folder 


w' 2b Select configuration 


^ 2c Select storage E3 vsanDatastore 


2d Setup networks 


2e Customize template 


3 Ready to complete 








| Back || Next | Finish 





图 4-14 ”部 署 虚拟 机 模板 选择 虚拟 机 存储 策略 


1) 选中 需要 分 配 虚 拟 机 存储 策略 的 虚拟 机 右 击 。 如 图 4-15 所 示 ， 单 击 VM Policies 下 的 Edit VM Storage Policies 以 修改 现 
有 虚拟 机 存储 策略 。 


bj Actions - Ubuntu 
Power 


Guest OS 


Snapshots ' ted | summary Monitor Manage Relate 
Ci Open Console | 


(à Migrate... Virtual Machine? 


Clone > jachine is a software computer that, 
Template . Bical computer, runs an operating 
1d applications. An operating 
Fault Tolerance stalled on a virtual machine is 
Lestoperating system. 
VM Policies Edit vM Storage Policies... 


Compatibility > | Gy Check VM Storage Policy Compliance 


Ei Reapply VM Storage Policy 


Export System Logs... | 
te server applications. 


Edit Resource settings... 


Edit Settings... Server, virtual machines run on 


lusters. The same host can run 
Move To. al machines. 

Rename... 

Edit Notes... 

Tags & Custom Attributes 
Add Permission... 
Alarms 

Remove from Inventory fer on the virtual machine 
aisle Nom DISK rer off the virtual machine 
All vRealize Orchestrator plugin Actions » ‘pend the virtual machine 





图 4-15 ”编辑 虚拟 机 存储 策略 


2) 蕊 理 员 可 以 针对 虚拟 机 的 所 有 对 象 应 用 新 的 虚拟 机 存储 策略 ， 也 可 以 根据 实际 需要 针对 虚拟 机 中 的 具体 对 象 应 用 新 的 虚 
拟 机 存储 策略 。 如 图 4-16 所 示 ， 我 们 只 更 改 了 虚拟 机 磁盘 的 虚拟 机 存储 策略 ， 虚 拟 机 主页 依旧 保留 原 有 Virtual SANAN FER 
略 。 在 页 面 下 方 ，Virtual SAN 可 以 根据 当前 的 存储 策略 修改 预测 存储 的 消耗 情况 。 单 击 OK 以 完成 存储 策略 修改 。 


(5j Ubuntu: Manage VM Storage Policies ? 


Select a common storage policy for all storage objects or use the table below to define different policies for the different storage objects. 


VM storage policy: | Virtual SAN Default Storage Policy | v Apply to all | 


Name Disk Size 
[7] VM home 
&5 Hard disk 1 60.00 GB 


VM Storage Policy Datastore Datastore Type 


Virtual SAN Default Storage Policy E3 vsanDatastore vsan 


VM Storage Policy Lab E3 vsanDatastore vsan 


Predicted impact on storage consumption: 


Q Applying the new VM storage policy will affect the storage consumption of the VM disk. The new storage consumption will be: 
15.82 GB ( & 103.18 GB) storage space 
0.00 B reserved flash space 








Cancel | 


图 4-16 ”管理 虚拟 机 存储 策略 


虚拟 机 对 象 是 存 有 数据 和 元 数据 的 逻辑 卷 ， 其 分 布 在 整个 Virtual SAN 集 群 中 。 虚 拟 机 对 象 的 分 发 基于 虚拟 机 中 定义 的 虚拟 
机 存储 策略 和 内 部 优化 路 径 。 当 用 尸 在 Virtual SAN 数 据 存储 中 部 署 虚 拟 机 时 ，Virtual SAN 会 为 每 个 虚拟 磁盘 创建 一 个 对 象 ， 并 


创建 一 个 容器 对 象 用 于 存储 虚拟 机 所 有 的 元 数据 文件 。 除 了 VMDK、 增 量 文 件 和 交换 文件 ， 所 有 的 虚拟 机 文件 都 存放 在 Virtual 
SAN 数 据 存 储 的 主 目录 中 。 


在 Virtual SAN 数 据 存 储 上 ， 虚 拟 机 包含 以 下 5 种 不 同类 型 的 对 象 : 


` 虚拟 机 主页 (VM Home) 或 名 字 空 间 (Namespace) : 存储 所 有 虚拟 机 的 配置 文件 ， 包 括 .vmx、 日 志文 件 、VMDK、 快 照 
增 量 描述 文件 等 。 


- 虚拟 机 交换 文件 (VM Swap) : 虚拟 机 启动 时 生成 。 

- EWP SE/VMDK: 用 于 描述 虚拟 硬盘 驱动 的 文件 。 

` 增 量 快照 (Snapshot Deltas) : 虚拟 机 创建 快照 时 生成 。 

-内存 (Memory) : Virtual SAN6.0 新 增 的 对 象 ， 在 创建 或 挂 起 虚拟 机 时 ， 选 择 快照 内 存 选 项 时 创建 。 


3) 在 修改 虚拟 机 的 存储 策略 后 ， 在 Monitor 忆 Policies 中 ， 可 以 验证 虚拟 机 中 文件 的 存储 策略 是 否 合 规 。 当 虚拟 机 中 一 个 或 
多 个 对 象 未 满足 分 配 的 存储 策略 要 求 时 ， 虚 拟 机 会 被 视 为 不 合 规 。 


如 图 4-17 所 示 ， 在 页 面 下 方 的 Physical Disk Placement 中 可 以 查看 对 象 放置 的 具体 信息 。 由 于 对 VMDK 应 用 的 存储 策略 尚 
未 完成 配置 ， 因 此 虚拟 机 存储 策略 显示 不 合 规 。 我 们 可 以 选中 人 磁盘， 在 页 面 下 方 的 Physical Disk Placement 中 得 看 对 象 放 置 的 
具体 信息 。 为 了 应 用 修改 的 虚拟 机 存储 策略 ，Virtual SAN 正 在 集群 中 的 主机 上 重新 配置 组 件 。 


Cp Ubuntu ^ Actions v 


Getting Started Summary | Monitor | Manage Related Objects 


| Issues | Performance | Policies!) Tasks | Events | Utilization | 


C EV (Q Filter 
Name VM Storage Policy Compliance Status Last Checked 

[7] VM home ES Virtual SAN Default Storage Po... sw Compliant 3/3/2016 3:37 PM 
& Hard disk 1 ES VM Storage Policy Lab @ Noncompliant 3/3/2016 3:39 PM 








Compliance Failures | Physical Disk Placement | 








Ubuntu - Hard disk 1: Physical Disk Placement 


IQ Filter 
Component State Host Flash Disk Name Flash Disk Uuid 


lg] Active 日 10.110.186.40 ÆA Local DELL Disk (naa.6c81f.. | 52d04208-b0e4-895f-6228- 





Component 国 Active 图 10.110.186.40 — Q3 Local DELL Disk(naa.6c81f.. |52d26914-a568-0a7f-7ad3- 
RAID 0 

Component 国 Active E 10.110.186.42 — Q3 Local DELL Disk(naa.6c81f.. | 52f3b6ca-3ee5-5810-32e6-: 
Component Ø Active 日 10.110.186.42 ŒA Local DELL Disk (naa.6c81f.. |52f3b6ca-3ee5-58f0-32e5-: 
Component 国 Active B 10.110.186.42 ÆA Local DELL Disk (naa.5c81f.. |52f3b6ca-3ee5-58f0-32e5-: 
RAID 0 

Component EJ Reconfiguring B 10.110.186.41 ÆA Local DELL Disk (naa.5c81f.. | 527adeb5a-34d0-0a85-cb94 
Component E Active 日 10.110.186.41 ŒA Local DELL Disk (naa.6c81t.. 527e0bdb-7c78-509a-0a70 
Component EJ Reconfiguring B 10.110.186.41 ÆA Local DELL Disk (naa.6c81f... |527adeb5a-34d0-0a85-cb94 
Component Gad Active 日 10.110.186.41 ŒA Local DELL Disk (naa.5c81f..  527adeba-34d0-0a85-cb94 


b 


12items | 四 ~ 





图 4-17 ”物理 磁盘 组 件 放置 的 具体 信息 


(1) 组 件 


虚拟 机 对 象 都 以 RAID 树 的 形式 存储 在 Virtual SAN 数 据 存 储 中 。RAID 树 上 的 每 片 叶 子 都 是 一 个 组 件 。 组 件 是 对 象 的 组 成 部 
分 ， 组 件 的 数量 由 应 用 到 该 对 象 的 存储 策略 决定 。 


(2) 组 件 的 分 友 技 术 
Virtual SAN 使 用 分 布 式 RAID 染 构 在 集群 中 分 布 数据 ， 组 件 通 过 使 用 如 下 3 种 技术 进行 分 布 式 存 储 : 


. 条 带 (RAIDO) : 条 带宽 度 将 对 象 分 割 为 多 个 条 带 。Virtual SAN 通 过 同时 访问 多 个 条 带 来 增强 性 能 。Virtual SAN 最 大 支持 
12 个 条 带 ， 也 就 是 条 带宽 度 为 12。 如 图 4-17 所 示 ， 由 于 存储 策略 定义 的 条 带宽 度 为 3， 因 此 该 VMDK (Hard disk1) 在 RAID0 架 构 
下 横 跨 在 3 块 磁盘 中 (从 每 个 组 件 存储 的 HDD Disk UUID 不 同 可 以 判定 其 存储 在 3 块 不 同 的 物理 磁盘 中 ) 。 


. 镜像 (RAID1) : 镜像 过 过 创建 多 个 对 象 副本 来 增加 数据 的 可 用 性 。 每 个 对 象 创 建 的 副本 数量 基于 配置 的 虚拟 机 存储 
策略 中 的 FIT (允许 的 故障 数 ) Kito Virtua SAN 使 用 横路 多 台 主 机 的 同步 镜像 来 满足 对 象 的 可 用 性 与 稳定 性 要 求 。 因 为 
Virtual SAN 的 最 大 FTT 为 3， 因 此 最 多 支持 4 路 镜像 。 如 图 4-17 所 示 ， 由 于 存储 策略 定义 的 FIT 为 1， 因 此 在 RAID1 架 构 下 有 两 个 完 
全 相同 的 RAID0 镜 像 。 


条 市 (RAID5/6) : 在 Virtual SAN0.2 新 增 的 RAID5/6 中 ， 允 许 通过 配置 虚拟 机 存储 策略 的 故障 容 候 方式 ， 改 变 FTTI 的 形 
式 ， 以 在 磁盘 使 用 空间 效率 与 数据 可 用 性 之 间 获 得 平衡 。 管 理 员 可 以 在 RAID1 与 RAID5/6 之 间 做 出 选择 ， 以 获得 更 好 的 性 能 或 更 


高 的 空间 使 用 效率 。 此 外 ， 在 RAID5/6 模 式 下 ， 最 大 FTT 为 2。 更 多 有 关 RAID5/6 的 信息 详 见 5.2.5.“RAID5/6 纠 删 码 
通过 结合 使 用 镜像 与 条 带 技术 ，Virtual SAN 可 以 提供 对 数据 的 元 余 访问 ， 并 改善 读 写 性 能 


虚拟 机 存储 策略 的 重新 配置 根据 虚拟 机 应 用 磁盘 、 文 件 的 实际 大 小 需要 等 待 一 段 时 间 ， 单 击 页 面 上 方 的 知 ， 再 次 触发 存储 
策略 合 规 性 检查 。 如 图 4-18 所 示 ， 这 时 束 可 以 看 到 应 用 的 存储 策略 合 规 了 。 


需要 补充 的 是 ， 我 们 可 以 在 Physical Disk Placement 中 看 到 一 台 见 证 主机 Witness， 其 不 在 RAID 架 构 中 。 见 证 主机 主要 用 
于 在 网 络 分 割 时 判定 有 效 数据 拷贝 主机 。 见 证 主机 中 只 存储 见证 对 象 ， 没 有 数据 组 件 ， 每 个 见证 对 象 只 有 2MB。 


4.3.3 ”修改 虚拟 机 存储 策略 


在 某 些 情况 下 ， 管 理 员 可 能 需要 对 现 有 的 虚拟 机 存储 策略 进行 修改 。 修 改 虚 拟 机 存储 策略 十 分 入 单 ， 我 们 将 通过 实验 具体 演 


7Jvo 


1) £eHome Monitoring VM Storage Policies (主页 一 监控 一 虚拟 机 存储 策略 ) 中 ， 找 到 需要 修改 的 虚拟 机 存储 策 
略 。 如 图 4-19 所 示 ， 选 中 需要 修改 的 虚拟 机 存储 策略 ，Objects 下 方 会 出 现 一 栏 图 标 ， 单 击 儿 即 可 修改 虚拟 机 存储 策略 。 


Gò Ubuntu Actions ~ 


Getting Started Summary | Monitor | Manage Related Objects 


Issues Performance | Policies Tasks | Events | Utilization 


VM Storage Policy Compliance Status 
E VM home Er Virtual SAN Default Storage Policy V 3/4/2016 2:34 AM 
&4 Hard disk 1 ES VM Storage Policy Lab vw Compliant 3/4/2016 2:35 AM 


n 2items | 


Compliance Failures Physical Disk Placement 


Ubuntu - Hard disk 1: Physical Disk Placement 


Q 
nent Host Flash Disk Name Flash Disk Uuid HDD Disk Name HDD Disk Uuid 
Witness B) Active 日 10.110.186.40 23 Local DELL §2d04208-b0e4-895fF-6228-aab94706508b ØA Local DEL 52227e78-5a50-9790-5edc-a16e2554f1 de4 
- RAID 1 
v RAID 0 
Component ge Active g 10.110.186.42 23 Local DELL 5213b6ca- 3ee5-58f0- 32e6-ac81fc58d6f0 GA Local DEL 52a0e2c6-cda3-884e-daeb-00980758ebca 
Component Active 日 10.110.186.42 G Local DELL 5213b6ca- 3ee5-58f0- 32e6-ac81fc58d6f0 GA Local DEL 52c42819-0508-0789-0ae9-405e7 2202697 
Component [gage Active 日 10.110.186.42 23 Local DELL 5213b6ca-3ee5-58f0- 32e6-ac81fc58d6f0 GA Local DEL 522ef36e-de17-93dd-4725-f775787 263fe 
+ RADO 
Component Active 日 10.110.186.41 A Local DELL §27ade6a-3400-0a86-cb94-cecO37b7c757 QA Local DEL 524723d47-9db1-647a-969e-264638a89cbe 
Component [ge Active 日 10.110.186.41 A Local DELL 527 e0bdb-7c78-509a-0a70-9f84324ac8de G Local DEL 521c61c8-9260-4937-7582-067cad16dc60 
Component [ge Active 日 10.110.186.41 23 Local DELL 527adeba-34d0-0a86-cb94-cec037b7c757 QA Local DEL 529d6e7e-5ade-628c-31b2-eafac8ce2c63 





10 items 


图 4-18 ”虚拟 机 存储 策略 合 规 


ES VM Storage Policies 


| Objects | 


Em | ) Xx GS PF | (gpActions ~ 


Name Description 


ES Virtual SAN Default Storage Policy Storage policy used as default f... 
ES wwol No Requirements Policy Allow the datastore to determine... 





re VM Storage Policy Lab 


图 4-19 ”修改 虚拟 机 存储 策略 


2) 修改 虚拟 机 存储 策略 的 方法 与 创建 新 的 虚拟 机 存储 策略 一 人 怪 ， 修 改 完成 后 单 击 Finish 即 完成 修改 。 需 要 注意 的 是 ， 在 管 
理 员 修改 完 虚 拟 机 存储 策略 后 ， 原 有 分 配 该 存储 策略 的 对 象 会 立刻 自动 触 友 重新 配置 。 如 图 4-20 所 示 ， 可 以 双击 进入 修改 存储 
策略 的 主页 面 ， 在 Monitor 一 VMs and Virtual Disks (监控 一 虚拟 机 和 虚拟 磁盘 ) 中 查看 当前 分 配 该 存储 策略 的 所 有 虚拟 机 对 


REO. 


ES VM Storage Policy Lab | Actions v 


Getting Started Summary Monitor | Manage Related Objects 
VMs and Virtual Disks Storage Compatibility 


JE c 


Name Compliance Status 


v (à vROPs 6.2 

& Hard disk 1 w^ Compliant 

& Hard disk 3 w^ Compliant 
v (3) Ubuntu 

& Hard disk 1 yvy Compliant 
v (à NSX Manager for lab 

& Hard disk 1 w^ Compliant 





图 4-20 Æ AZ VUA RE AC BW’ BE 


44 本章 小 结 


Virtual SAN 使 用 虚拟 机 存储 策略 来 确保 虚拟 机 的 性 能 和 可 用 性 要 求 被 满足 。 通 过 使 用 基于 存储 策 略 的 管理 ， 用 户 可 以 快速 
响应 性 能 的 改变 和 可 用 性 需求 ， 并 且 在 不 进入 维护 模式 的 前 提 下 创建 和 升级 虚拟 机 的 存储 需求 。 本 章 主要 介绍 了 Virtual SANSE 
持 的 虚拟 机 存储 策略 以 及 如 何 定义 虚拟 机 存储 策略 ， 同 时 也 介绍 了 基于 存储 策略 的 管理 如 何 帮助 用 户 快速 响应 性 能 的 改变 和 可 用 


三 部 分 Virtual SAN 管 理 与 监控 


第 5 章 ”管理 Virtual SAN 


第 6 章 ”监控 Virtual SAN 


第 5 章 ”管理 Virtual SAN 


本 章 主要 介绍 了 如 何 管理 Virtual SAN 中 的 存储 设备 和 数据 存储 ， 以 及 如 何 扩展 Virtual SAN 架 构 ， 如 何 对 Virtual SAN 进 行 
升级 。 为 了 在 日 单 使 用 中 获取 理想 的 性 能 与 可 用 性 级 别 ， 了 解 如 何 管理 Virtual SAN 并 执行 日 常 维护 是 至 关 重 要 的 。 


5.1 管理 磁盘 与 磁盘 组 


5.1.1 “ 置 于 维护 模式 


在 Virtual SAN 的 日 常 使 用 中 ， 管 理 员 可 能 要 对 Virtual SAN 集 群 中 的 主机 进行 维护 (包括 关闭 、 重 启 、 断 开 Virtual SANS 
群 中 的 主机 连接 等 ) 。 为 确保 在 维护 过 程 中 不 影响 Virtual SAN 数 据 仓 储 的 正 党 运行 ， 请 确保 先 将 ESXi 主 机 置 于 维护 模式 。 需 要 
注意 的 是 ， 置 于 维护 模式 不 仅仅 局 限于 对 磁盘 与 磁盘 组 的 管理 。 在 任何 针对 主机 的 日 单 维护 中 ， 均 建议 先 将 需要 维护 的 主机 置 于 
维护 模式 。 本 节 将 演示 如 何 将 主机 置 于 维护 模式 ,。 

1) 登录 VMware vSphere Web Client， 在 Inventory 一 Hosts and Clusters (清单 一 主机 和 集群 ) 中 选中 需要 置 于 维护 模 


式 的 主机 ， 右 击 选择 Maintenance Mode (维护 模式 ) ， 单 击 Enter Maintenance Mode 以 进入 维护 模式 。 如 图 5-1 所 示 。 


2) vSphere Web Client 会 跳出 界面 询问 是 否 进 入 维护 模式 。 如 图 5-2 所 示 ， 界 面 会 询问 是 否 需 要 移动 断 电 或 暂停 的 虚拟 机 
到 集群 中 的 其 他 主机 中 ， 管 理 员 可 以 根据 实际 需要 勾 选 。 当 将 Virtual SAN 主 机 置 于 维护 模式 前 ， 管 理 员 必须 选择 以 下 数据 迁移 
选项 中 的 一 个 来 完成 数据 迁移 : 


日 Actions - 10.110.186.42 (reboot required) | Dell Inc. Pow erEdge R/20 


New Virtual Machine p fpe: Intel(R) Xeon(R) CPU E5-265 








 Bssors: 32 
Mew vApp | 6 
| Mew Resource Pool... Es 56 
tg Deploy OVF Template... 
Connection z Connected 
Maintenance Mode B. Enter Maintenance Mode 
Power Za Exit Maintenance Mode 


Certificates 
Storage 


$9 Add Networking... 
Add Diagnostic Partition... 





Clust 


Description 
Host Profiles P 


Edit Default vM Compatibility... 
Export System Logs... 


HF ecanfi aure far v5 D here HA 


Assign License... 


Settings 
Assign... Remove ; 


Move To... 
Tags & Custom Attributes 


Add Permission... 
Alarms 


Remove from Inventory 


lig Disassociate Host 
All vRealize Orchestrator plugin Actions » | 


图 5-1 进入 维护 模式 


. 确保 可 访问 性 (Ensure Accessibility) : 该 选项 会 在 进入 维护 状态 的 主机 上 迁 出 足够 多 的 数据 ， 以 确保 在 这 台 主 机 宕 机 后 


所 有 的 虚拟 机 存储 对 象 仍 可 被 访问 到 。 在 该 数据 迁移 选项 下 ，Virtual SAN 并 不 迁移 出 所 有 数据 ， 而 是 检查 那些 在 主机 被 置 于 维护 
模式 后 会 丢失 多 数组 件 或 数据 可 用 性 的 存储 对 象 ， 对 这 些 对 象 创建 足够 数量 的 拷贝 。 


C 迁移 全 部 数据 (Full Data Migration) : 该 选项 会 迁 出 主机 中 所 有 的 数据 ， 无 论 迁 出 的 数据 是 否 必 要 。 但 是 事实 上 ,Virtual 
SAN 并 不 需要 完全 从 置 于 维护 模式 的 主机 复制 数据 ， 而 是 从 所 有 拥有 对 象 副本 的 主机 复制 数据 ， 避 免 在 进入 维护 模式 的 主机 上 制 
造 “瓶颈 。 如 果 选 择 该 选项 ， 只 有 在 所 有 人 受 影响 的 对 象 都 完成 重新 配置 、 所 有 组 件 都 被 放置 到 集群 中 的 其 他 主机 上 并 且 合 规 性 
得 到 保障 的 情况 下 ， 主 机 才 会 成 功 进 入 维护 模式 。 


` 不 迁移 数据 (No Data Migration) : 该 选项 不 会 迁 出 任何 存储 对 象 ， 如 果 在 数据 迁移 时 选择 该 选项 ， 一 些 活跃 的 对 象 (组 


成 虚拟 机 的 主要 部 分 ) 可 能 会 变 得 不 可 访问 。 


[] Confirm Maintenance Mode 


A host in maintenance mode does not perform any activities on virtual machines, 
including virtual machine provisioning. The host configuration is still enabled. The 
Enter Maintenance Mode task does not complete until the above state is 
completed. You might need to either power off or migrate the virtual machines 
from the host manually. You can cancel the Enter Maintenance Mode task at any 
time. 


A There are hosts in a Virtual SAN cluster. Once the hosts are removed from the 
cluster, they will not have access to the Virtual SAM datastore and the state of 
any virtual machines on that datastore. 


vi Move powered-off and suspended virtual machines to other hosts in the 


cluster 


Virtual SAN data might reside on the hosts in a Virtual SAN cluster. Select an 
option to setthe migration mechanism for the Virtual SAN data that will be 
enforced before the hosts enter maintenance mode. 
Virtual SAN data migration: Ensure accessibility 
Ensure accessibility 
Putthe selected hosts in maintenance 
Full data migration 


| No data migration 





图 5-2 Virtual SAN 数据 迁移 选项 


3) 为 了 确保 Virtual SAN 数 据 存储 的 可 访问 性 ， 我 们 在 此 选择 确保 可 访问 性 。 单 击 OK 完 成 操作 。 需 要 注意 的 是 ， 迁 移 全 部 
数据 只 有 在 Virtual SAN 集 群 中 有 4 节 点 以 上 的 主机 时 才能 使 用 。 如 图 5-3 所 示 ， 在 3 节操 的 集群 环境 中 选择 迁移 全 部 数据 会 显示 
Virtual SAN 中 没有 充足 的 节操 或 磁盘 满足 迁移 模式 需求 ， 导 致 进入 维护 模式 失败 。 


此 外 ， 当 Virtual SAN 集 群 的 成 员 书 点 进入 维护 模式 时 ， 整 个 集群 的 存储 容量 会 下 降 ， 这 是 因为 该 成 员 证 点 不 再 为 集群 提供 


仓储 。 


除了 通过 vsphere Web client 将 ESXi 主 机 置 于 维护 模式 外 ， 管 理 员 还 可 以 使 用 ESXCLI 命 令 手 动 将 主机 置 于 维护 模式 。 通 过 
ESXCLI 命 令 置 于 维护 模式 时 也 可 以 通过 参数 选择 数据 迁移 方式 。 


1) 确保 ESXi 主 机 的 SSH 连 接 已 司 用 。 
2) 通过 Putty 或 类 似 Shell 终 端 SSH 登 录 需 要 进行 管理 的 ESXi 主 机 。 


ssh root@host_IP_address 


3) 通过 以 下 命令 将 ESXi 主 机 置 于 维护 模式 ， 其 中 管理 员 可 以 根据 实际 需要 将 的 值 改 为 
ensureObjectAccessibilitylevacuateAllData|noAction 以 分 别 对 应 确保 可 访问 性 ， 迁 移 全 部 数据 ， 不 迁移 数据 三 个 数据 迁移 选 
项 。 








4p Confirm Maintenance Mode 





| A general system error occurred: Operation failed due to a VSAN error. 
Failed to enter maintenance mode in the current VSAN data migration mode due 
| to insufficient nodes or disks in the cluster. Retry operation in another mode or 


after adding more resources to the cluster. e 


| Cause: 
| General Virtual SAN error. 


A hostin maintenance mode does not perform any activities on virtual machines, 
including virtual machine provisioning. The host configuration is still enabled. The 
Enter Maintenance Mode task does not complete until the above state is 
completed. You might need to either power off or migrate the virtual machines 
from the host manually. You can cancel the Enter Maintenance Mode task at any 
time. 
There are hosts in a Virtual SAN cluster. Once the hosts are removed from the 
cluster, they will not have access to the Virtual SAN datastore and the state of 
any virtual machines on that datastore. 


vl Move powered-off and suspended virtual machines to other hosts in the 
cluster 


Virtual SAN data might reside on the hosts in a Virtual SAN cluster. Select an 
option to set the migration mechanism for the Virtual SAN data that will be 
enforced before the hosts enter maintenance mode. 


Virtual SAN data migration: | Full data migration 








Put the selected hosts in maintenance mode? 








图 5-3 ”数据 迁移 报错 


esxcli system maintenanceMode set --enable 1 --vsanmode=<str> 


4) 等 待命 令 执 行 完成 后 ， 可 以 输入 以 下 命令 验证 当前 ESXi 主 机 是 否 已 置 于 维护 模式 。 


esxcli system maintenanceMode get 


5.1.2 ” 移 除 磁盘 


EH) 栏 ， 选 中 主机 中 需 


1) 在 Virtual SAN 集 群 的 Manage 一 Settings 一 Virtual SAN 一 Disk Management (管理 一 设置 一 Virtual SAN HARE 
进行 操作 的 磁盘 组 ， 选 中 需要 删除 的 磁盘 。 如 图 5-4 所 示 ， 只 有 选中 需要 删除 的 磁盘 后 ， 在 页 面 中 央 磁 


盘 列 表 上 方才 会 显示 相关 操作 图 标 。 


2) 单 击 图 5-4 中 页 面 下 方 Disk Group 栏 的 受 以 删除 磁盘 。Virtual SAN 集 群 会 弹出 提示 询问 是 否 需要 迁 出 磁盘 上 的 数据 ， 管 


理 员 可 以 根据 实际 情况 选择 。 如 图 ?-5 所 示 ， 可 以 看 到 当前 磁盘 中 有 596.97GB 的 数据 ， 管 理 员 可 以 根据 实际 情况 选择 是 否 迁 出 磁 
盘 中 的 数据 。 为 确保 数据 的 可 用 性 ， 建 议 勾 选 迁 出 数据 ， 单 击 Yes 完 成 删除 磁盘 操作 。 


(2) Virtua-SAN-Cluster ^ Actions ~ 


Summary Monitor | Manage | Related Objects 











| Settings | Scheduled Tasks | Alarm Definitions | Tags Permissions | 
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Disk Group Disks in Use State 

- 日 10.159.16.39 10 of 10 
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General B Disk group (020000000055cd2e404c08e310494e54454c20) | 5 
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4 


General 
A 


Licensing 
Disk group (020000000055cd2e404c08e3ed494e54454c20): Disks 


CR | O O | BaAllActions v 


VMware EVC 


VM/Host Groups ĉa Show: 


Mounted 
Connected 
Mounted 
Mounted 
Connected 


Mounted 


Heal 
Heal 
Heal 
Heal 
Heal 
Heal 


b 


12items [5 .. 


In use (5) 


VM/Host Rules Name Drive Type Disk Tier Capacity 


VM Overrides E Local ATA Disk (naa.55cd2e404c08e3ed) 
回 Local ATA Disk (naa.55cd2e404c06e94f7) 
Ed Local ATA Disk (naa.55cd2e404c0e1c40) 
Local ATA Disk (naa.55cd2e404c0e1c45) 


Ed Local ATA Disk (naa.55cd2e404c0db7f5) 


Host Options 


Profiles 


4 
fet 
4 


Kl5-4 Ed IG 


Flash 
Flash 
Flash 
Flash 
Flash 


Cache 

Capacity 
Capacity 
Capacity 
Capacity 


372.61 GB 
372.51 GB 
372.61 GB 
372.61 GB 
372.61 GB 


5 items FM 
b 





Disk"Local DELL Disk 
(naa.5c81f650d02235001cba55a73580127d)" is aboutto be 
removed from the disk group 
"02000000005c81f165650d02235001cba55a235387646504552432 
043". 


Unless the data on the disk(s) is evacuated first, removing the 
disk(s) might disrupt working VMs. 


| Evacuate data (596.97 GB) © 


Remove disk? 





图 5-5 ”确认 是 否 迁 出 磁盘 数据 


3) Recent Tasks 中 可 以 查看 Virtual SAN 移 除 磁盘 的 进度 。 根 据 迁 出 数据 大 小 不 同 ， 移 除 速 度 也 会 有 所 不 同 。 如 图 5-6 所 
示 ，Virtual SAN 正 在 移 除 选 中 的 磁盘 。 


Recent Tasks 


| Running Failed 


Remove disks that are used by Virtual SAN 
E] 10.159.16.39 


so" €3 


图 5-6 ”监控 数据 迁 出 进度 





4) 在 移 除 磁盘 操作 完成 后 ， 删 除 的 磁盘 在 磁盘 组 中 便 不 再 可 见 。 管 理 员 可 以 在 Disk Management 栏 验证 磁盘 删除 操作 是 
否 成 功 。 此 外 ， 需 要 注意 的 是 ， 虽 然 管理 员 可 以 删除 磁盘 组 中 的 单 块 缓存 盘 (Cache Disk) ， 但 是 会 导致 整个 磁盘 组 失效 。 


除了 通过 vsphere Web Client 移 除 主机 中 的 磁盘 外 ， 管 理 员 还 可 以 使 用 ESXCUHI 命 令 手动 从 主机 中 移 除 设备 。 通 过 ESXCLI 命 
令 移 除 磁盘 ， 管 理 员 并 不 能 选择 迁 出 磁盘 中 的 数据 ， 因 此 在 使 用 命令 移 除 磁盘 时 ， 请 务必 确保 数据 的 可 用 性 。 


1) 确定 需要 移 除 磁盘 的 设备 ID， 管 理 员 可 以 运行 以 下 命令 了 解 设备 ID 人 信息。 
esxcli vsan storage list 


获得 的 设备 1D 信 息 与 此 类 似 ， 这 是 一 块 容量 层 的 9%9D。 有 关 设 备 1D 信 息 的 详细 内 容 ， 请 参考 8.2 节 。 


naa.6c81f660d0206000le/dc2beldd571fd 
Device: naa.6c81f£660d02060001le7dc2beldd571fd 
Display Name: naa.6c81f660d0206000le7dc2beldd571fd 
Is SSD: true 
VSAN UUID: 52c0beae-141d-9cbf-1878-077661d80723a 
VSAN Disk Group UUID: 52c30b83-2be0-8f94-baf7-57cea43d4d49 
VSAN Disk Group Name: naa.6c81f6608d02060001e7dc23b15feó6a38 
Used by this host: true 
In CMMDS: true 
On-disk format version: 3 
Deduplication: false 
Compression: false 
Checksum: 17176167228663776895 
Checksum OK: true 


Is Capacity Tier: true 


2) 根据 步骤 1 中 获取 的 设备 1D 信 息 (naa.6c81f660d02060001e7dc2be1dd571fd) 从 Virtual SAN 中 移 除 设 备 ， 运 行 以 下 


BA 
HB Yo 


esxcli vsan storage remove -d naa.6c81f660d02060001le7dc2beldd571fd (device id) 


3) 删除 成 功 后 ， 可 以 运行 vdq-q 命 令 进行 验证 。 如 下 为 命令 执行 后 列 出 的 两 块 磁盘 。 第 一 块 为 我 们 删除 的 磁盘 ， 对 比 第 二 
块 可 以 发 现 其 VSANUUID 已 经 消失 ， MEN for use by VSAN. 


"Name" : "naa.6c81f660d02060001e7dc2beldd571fd", 
"VSANUUID'" = Tw 

"State" : "Eligible for use by VSAN", 

"Reason" : "None", 

TSSSDY = Ps 


IsCapacityFlash": "1", 


"IsPDL" Ro UT, 

}, 

{ 
"Name" : "naa.6c81f660d02060001e7dc25al17df2f42", 
"VSANUUID" : "5281162b-d4c8-fb04-3a01-58ff215dede6", 
"State" : "In-use for VSAN", 
"Reason" : "None", 
"ISsSSD" JE ST 


| 
f) 
(^ 


sCapacityFlash": Lt, 


"IsPDL" y t. 


D i 1 .3 添加 单 块 磁 盘 


管理 员 可 以 根据 Virtual SAN 数 据 存 储 的 线性 增长 ， 逐 渐 向 磁盘 组 中 添加 新 的 容量 盘 (Capacity Disk) 。 在 此 我 们 将 上 一 节 
删除 的 容量 盘 重 新 添加 到 磁盘 组 中 。 


1) 同样 是 在 Disk Management 栏 ， 选 中 需要 添加 磁盘 的 磁盘 组 ， 单 击 在 页 面 下 方 左 上 角 的 em, ， 以 添加 磁盘 ， 如 图 5-7 所 


小 \。 


Disk group (02000000006c8 11660d 0206700 1e763a5d097 a64ea504552432048): Disks 


ĉa | (P All Actions v Show: | In use (5) Y 


Name 


Disk Tier Capacity Virtual SAN H 
E Local DELL Disk (naa.6c81f660d02067001e7e3a5d097a64ea) Cache 185.75 GB 


Healthy 
Healthy 
Healthy 
Healthy 
Healthy 


E Loca! DELL Disk (naa.6c81f660d02067001e7e3acb100805b1) Capacity 372 GB 
E Local DELL Disk (naa.6c81f660d02067001e7e3aff13261 bad) Capacity 372 GB 
EB Local DELL Disk (naa.6c81f660d020670016e7e3ae811cc8c7f) Capacity 372 GB 
EB Local DELL Disk (naa.6c81f660002067001e7e3aad0e408e0f) Capacity 372 GB 





图 5-7 mea RBBB 


2) 在 弹出 的 对 话 框 中 ， 勾 选 需要 添加 的 磁盘 ， 单 击 OK 完 成 磁盘 添加 ， 如 图 ?-8 所 示 。 


Select one or many disks to serve as capacity disks. 


Name Drive Type Capacity Transport Type Adapter 
[v] Local DELL Disk (naa.6c81f660d02067001ec46... Flash 372 GB Parallel S... | vmhba1 





图 5-8” 勾 选 需要 添加 的 磁盘 


3) 等 待 Recent Tasks 中 添加 磁盘 任务 完成 后 ， 可 以 在 Disk Management 栏 验证 磁盘 是 否 添加 成 功 。 如 图 5-9 所 示 ， 磁 盘 组 
中 目前 有 5 块 容量 盘 。 


Disk group (02000000006c8 1f660d 0206700 1e7e3a5d097a64ea504552432048): Disks 


$3 | 48} All Actions ~ Show: | In use (6) " 
Name Disk Tier Capacity Virtual SAN 
E3 Local DELL Disk (naa.6c81f660d02067001e7e3a5d097a64ea) Cache 185.75 GB Healthy 


E Local DELL Disk (naa.6c81f660d02067001e7e3acb100805b1) 
E Loca! DELL Disk (naa.6c81f6604002067001e7e3aff13261ba5) 
E Local DELL Disk (naa.6c81f660d020670016e76e3a6811cc8c7f) 
ES Local DELL Disk (naa.6c81f6604d02067001e7e3aad0e408e0f) 
El Local DELL Disk (naa.6c81f6604d02067001ec464ff15ffe7c7) 


Capacity 
Capacity 
Capacity 
Capacity 
Capacity 


372 GB 
372 GB 
372 GB 
372 GB 
372 GB 


Healthy 
Healthy 
Healthy 
Healthy 
Healthy 





图 5-9 erik EK SS o 982 


同样 ， 我 们 也 可 以 通过 ESXCLI 命 令 将 之 前 删除 的 磁盘 重新 添加 到 磁盘 组 中 ， 只 需 使 用 如 下 命令 。 
esxcli vsan storage add -d device, id -s diskgroup. cachedisk, id 


例 : 


esxcli vsan storage add -d naa.6c81f660d02060001e7dc2bel1dd571fd -s naa.6c81f660d 
02060001e7dc23b15fe6a38 


需要 注意 的 是 ， 在 将 磁盘 重新 添加 到 磁盘 组 中 时 ， 是 通过 附加 磁盘 组 的 缓 仓 盘 设备 1D 进 行 磁盘 组 识别 的 。 因 此 ， 在 管理 员 
将 磁盘 通过 命令 添加 a 到 现 有 磁盘 组 中 时 ， 请 先 确定 需要 添加 磁盘 的 磁盘 组 组 存盘 设备 ID。 


5.1.4 删除 磁盘 组 


删除 磁盘 组 的 具体 操作 如 下 : 


1) 在 Virtual SAN 集 群 的 Manage 一 Settings 一 Virtual SAN 一 Disk Management (管理 一 设置 一 Virtual SAANP HBS 
理 ) 栏 ， 选 中 需要 删除 的 磁盘 组 ， 单 击 图 中 页 面 下 方 Disk Groups 栏 的 碟 以 删除 该 磁盘 组 。 


2) Virtual SAN 集 群 会 弹出 提示 询问 管理 员 是 否 需 要 删除 该 磁盘 组 ， 并 询问 管理 员 是 否 需 要 迁 出 磁盘 组 中 的 数据 。 如 图 5- 
10 所 示 ， 可 以 看 到 当前 磁盘 组 中 有 3.25GB 的 数据 ， 偶 理 员 可 以 根据 实际 情况 选择 。 为 确保 数据 的 可 用 性 ， 建 议 勾 选 迁 出 数据 ， 
单 击 Yes 完 成 删除 磁盘 组 操作 。 


Remove Disk Group 


Data on the disks from the disk group 
"00000000007664d686261313a343a30" will be deleted. 


Unless the data on the disks is evacuated first, removing the 
disks might disrupt working VMs. 


W] Evacuate data (3.55 GB) @ 


Remove disk group? 


Yes 





图 5-10 ”确认 是 否 迁 出 磁盘 组 数据 


3) 在 删除 磁盘 组 操作 完成 后 ， 被 删除 的 磁盘 组 在 Disk Management 中 不 再 可 见 。 管 理 员 可 以 在 Disk Management 栏 验 
证 磁盘 组 删除 操作 是 否 成 功 。 如 图 5-11 所 示 。 


通过 命令 行 删 除 磁盘 组 的 方法 与 删除 单 块 磁盘 类 似 ， 管 理 员 只 需要 将 需要 删除 的 磁盘 设备 ID 改 为 磁盘 组 中 组 存盘 的 设备 
ID, Virtual SAN 将 删除 与 该 内 存 设备 关联 的 磁盘 组 及 所 有 成 员 设 备 以 完成 删除 磁盘 组 的 操作 。 我 们 给 出 以 下 参考 命令 ， 读 者 可 
目 行 验证 。 


esxcli vsan storage remove -s cachedisk, id 


5.1.5 ”添加 单个 磁盘 组 


添加 单个 磁盘 组 的 具体 操作 步骤 如 下 : 


1) 在 Virtual SAN 集 群 的 Manage 一 Settings 一 Virtual SAN 一 Disk Management (管理 一 设置 一 Virtual SAN 一 磁盘 管 


理 ) 栏 ， 选 中 需要 创建 新 磁盘 组 的 主机 。 单 击 图 中 页 面 上 方 Disk Groups 栏 的 六 以 创建 新 的 磁盘 组 ， 如 图 5-12 所 示 。 需 要 注意 的 
是 ， 只 有 选中 主机 Disk Groups 栏 才 会 出 现 相应 的 图 标 。 


Summary Monitor Manage Related Objects 


Scheduled Tasks | Alarm Definitions | Tags | Permissions 


44 Disk Groups Disk Groups Disks 


alale a sc (Qa Filter - 
Disk Group Disks in Use State Virtual SAN .. Type 
v A 10.159.16.39 5 of 10 Connected Healthy 

Ez Disk group (020000000055cd2e404... 5 Mounted Healthy All flash 
General v [à 10.159.16.37 5 of 10 Connected Healthy 


Disk Management 图 Disk group (020000000055cd2e404... 5 Mounted Healthy All flash 


Fault Domains & Stretched 民 10.159.16.38 0 of 10 Connected Healthy 
Cluster 


v Services 





vSphere DRS 
vSphere HA 
w Virtual SAN 





Health and Performance 
v Configuration 

General 

Licensing 
VMware EVC 10.159.16.38: Disks 
VM/Host Groups 
VM/Host Rules 


VM Overrides 


Show: | In use (0) 


Drive Type Disk Tier Capacity 


Host Options 
Profiles 





图 5-11 磁盘 管理 


Disk Groups 


aga.” sc 二 一 一 
Dizk Group Dide in Use State Virtual SAN... Type 


~ A 10.159.16.39 5 of 10 Connected Healthy 
zl Disk group (020000000055c82e404... 5 Mounted Healthy All flash 


~ A 10.159.16.37 5 of 10 Connected Healthy 


Disk Groups Disks 


gj Disk group (020000000055cd2e404.. 5 Mounted Healthy All flash 


v [à 10.159.16.38 5 of 10 Connected Healthy 
E Disk group (020000000055cd2e404.. 5 Mounted Healthy All flash 





图 5-12 ”磁盘 组 管理 


2) Virtual SAN 集 群 会 弹出 创建 磁盘 组 的 页 面 ， 显 示 当 前 选中 主机 中 可 用 于 创建 磁盘 组 的 磁盘 。 但 需要 注意 的 是 ， 无 论 是 
创建 混合 架构 的 Virtual SAN 还 是 全 闪存 架构 的 Virtual SAN ， 都 只 能 选择 一 块 SSD 作 为 缓存 盘 。 如 图 5-13 所 示 ， 我 们 在 
10.159.16.38 主 机 上 选中 一 块 SSD 作 为 组 存盘，4 块 5SSD 作 为 容量 盘 创 建 一 个 磁盘 组 。 在 选择 需要 加 入 新 建 磁 盘 组 的 磁盘 后 ， 单 


击 OK 完成 磁盘 组 创建 。 


ES 10.159.16.38 - Create Disk Group 


First, select a single diskto serve as cache tier. 


Name 


œ) Ed] Local ATA Disk (naa.55cd2e404c0e950d) 
O Ell Local ATA Disk (naa.55cd2e404c0e950e) 
WU Ell Local ATA Disk (naa.55cd2e404c0e953c) 


Then, select one or more disks to serve as capacity tier. 


Capacity type: | Flash Y | 
Name 

M El] Local ATA Disk (naa.55cd2e404c0e950e) 
Vv Ell Local ATA Disk (naa.55cd2e404c0e953c) 
vi Ed Local ATA Disk (naa.55cd2e404c06e9555) 


v! Ell Local ATA Disk (naa.55cd2e404c0f3a2d) 





Drive Type 
Flash 
Flash 
Flash 


Drive Type 
Flash 
Flash 
Flash 
Flash 


Capacity 

372.61 GB 
372.61 GB 
372.61 GB 


Capacity 

372.61 GB 
372.61 GB 
372.61 GB 
372.61 GB 


Transport Type Adapter 


Block Ada... 
Block Ada... 
Block Ada... 


- 


Transport Type 


Block Ada... 
Block Ada... 
Block Ada... 
Block Ada... 


vmhbaü0 
vmhbaü0 
vmhbaü0 


Adapter 

vmhba0 
vmhbaü 
vmhba0 
vmhba0 


v 


5items | 四 ~ 





b 


4items | 四 ~ 











OK | | Cancel J. 








图 5-13 ”创建 新 的 磁盘 组 


3) 等 竺 Recent Tasks 中 创建 磁盘 组 的 任务 完成 后 ， 残 可 以 在 Disk Management 栏 验证 磁盘 组 是 否 组 建成 功 。 如 图 5-14 所 
示 ，10.159.16.38 主 机 上 目前 有 两 个 磁盘 组 ， 它 们 的 类 型 都 为 全 闪存 。 


通过 命令 行 添加 磁盘 组 的 方法 我 们 在 3.8.5 蔬 已 给 出 ， 读 者 可 目 行 查阅 。 


5.1.6 ”磁盘 LED 的 打开 与 关闭 


磁盘 LED 是 Virtual SAN6.0 引 入 的 新 特性 。 通 过 使 用 磁盘 LED， 管 理 员 可 以 在 存储 设备 故障 期 间 定位 其 物理 位 置 。 当 磁盘 
LED 启 用 时 ，LED 灯 会 在 故障 设备 上 闪 炸 ， 以 便 管理 员 迅 速 定位 。 


需要 注意 的 是 ，RAID0 模 式 的 控制 器 在 识别 磁盘 LED 时 可 能 需要 额外 步骤 局 用 控制 器 上 的 相 天 选项 。 因 此 ， 在 使 用 磁盘 LED 
时 ， 管 理 员 必 须 使 用 直通 模式 的 人 存 储 I/O 控 制 器 。 


Disk Groups 


28a 
Disk Group 


~ FA 10.159.16.39 


Disks in Use 


5 of 10 


三 Disk group (020000000055cd2e404... 5 
一 A 10.159.16.37 


5 of 10 
Em Disk group (020000000055cd2e404... 5 

v FA 10.159.16.38 10 of 10 
Em Disk group (020000000055cd2e404... 5 
Em Disk group (020000000055cd2e404... 5 


State 
Connected 
Mounted 
Connected 
Mounted 
Connected 
Mounted 


Mounted 


Disk Groups 


Disks 





图 5-14 ”磁盘 组 管理 


打开 或 关闭 磁盘 LED 有 两 种 方法 ， 管 理 员 既 可 以 在 ESXi 主 机 的 Manage 一 Storage 一 Storage Devices (管理 一 存储 一 存储 设 


(Q Filter 


Virtual SAN ... 
Healthy 
Healthy 
Healthy 
Healthy 
Healthy 
Healthy 
Healthy 


Type 


All flash 


All flash 


All flash 
All flash 


> 


7items |7 





备 ) 中 选中 具体 磁盘 ， 单 击 打开 或 天 闭 (5-15) ， 也 可 以 在 Virtual SAN 集 群 的 Manage 一 Settings 一 Virtual SAN 一 Disk 


Management (管理 一 设置 一 Virtual SAN 一 磁盘 管理 ) 中 进行 相关 操作 (EK) 。 


Getting Started Summary Monitor | Manage | Related Objects 
Settings | Networking | Storage | Alarm Definitions | Tags | Permissions 


44 Storage Devices 


tà 用 Ba ë OBS 
Name ype Capacity 

Local DELL Disk (naa.6c811660d02236001 cb... 931.00 GB 
Local DELL Disk (naa.6c811660d02236001 cb 931.00 GB 
Local DELL Disk (naa.6c811660d02236001 cb 744.63 GB 
Local DELL Disk (naa.6c811660d02236001 cb 931.00 GB 
Local DELL Disk (naa.6c811660d02236001 cb 744.63 GB 
Local TSSTcorp CD-ROM (mpx.vmhba3?7:CO:T 
Local DELL Disk (naa.6c811660d02236001 cb 
Local DELL Disk (naa.6c81f660d02236001 cb 
Local DELL Disk (naa.6c81f660d02236001ch 


Storage Adapters 


Storage Devices 


Host Cache Configuration 


Protocol Endpoints 


931.00 GB 
931.00 GB 
931.00 GB 


Operational State 


Attached 
Attached 
Attached 
Attached 
Attached 
Attached 
Attached 
Attached 
Attached 


图 5-15 ”主机 存储 设备 管理 


5.1.7 ”标记 设备 


Hardware 
Not supported 
Not supported 
Not supported 
Not supported 
Not supported 
Not supported 
Not supported 
Not supported 
Not supported 


Acceleration 


Transport 

Parallel SCSI 
Parallel SCSI 
Parallel SCSI 
Parallel SCSI 
Parallel SCSI 
Block Adapter 
Parallel SCSI 
Parallel SCSI 
Parallel SCSI 





Virtual SAN 可 能 偶尔 会 将 远程 设备 识别 为 本 地 设备 ， 或 将 本 地 设备 识别 为 远程 设备 。 这 种 不 正确 的 识别 可 能 发 生 在 外 部 或 
此 外 ， 当 管理 员 针对 具体 设备 进行 性 能 
级 时 ， 需 要 从 主机 上 印 载 正 在 使 用 的 磁盘 设备 。 通 过 使 用 标记 设备 可 以 使 主机 忽视 该 仓储 设备 。 


共享 的 SAS 设 备 上 。 管 理 员 可 以 通过 使 用 标记 设备 的 方法 来 解决 设备 错误 标记 的 问题 。 


管理 员 可 以 在 ESXi 主 机 的 Manage 一 Storage 一 Storage Devices (管理 一 存储 一 存储 设备 ) 中 选中 具体 磁盘 ， 单 击 于 标记 
设备 (图 5-15) 。 在 使 用 该 功能 时 需要 注意 ， 磁 盘 设 备 中 不 可 以 包含 数据 存储 ， 该 磁盘 也 不 可 以 作为 虚拟 机 的 裸 设备 映射 驱动 
器 ， 磁 盘 也 不 可 以 包含 被 诊断 的 或 划 伤 的 分 区 。 因 此 ， 我 们 不 能 将 磁盘 组 中 的 磁盘 标记 为 远程 设备 。 


5.1.8 ”置换 和 升级 设备 


在 实际 使 用 过 程 中 ， 管 理 员 经 常会 替换 Virtual SAN 集 群 中 的 硬件 组 件 、 驱 动 、 固 件 以 及 仓储 MO 控制 器 。 在 管理 员 从 物理 
主机 上 拆 下 缓存 设备 之 前 ， 必 须 手 动 从 Virtual SAN 上 移 除 设 备 。 磁 盘 组 上 的 组 件 在 缓存 设备 置换 结束 之 前 会 被 标记 为 降级 。 


VMware 建议 在 置换 和 升级 设备 时 严格 按照 以 下 步骤 执行 : 
1) 将 主机 置 于 维护 模式 并 迁 出 必要 的 数据 。 

2) 从 磁盘 组 中 移 除 需要 置换 的 设备 。 

3) WRENS, ITAL. 

4) 置换 硬件 设备 。 

5) 局 动 主 机 ， 将 主机 移出 维护 模式 。 


6) 如 果 新 的 硬件 设备 没有 航 侦 测 到 ， 重 新 扫 摘 磁盘。 


5.2 fxPVirtual SAN 数 据 和 存储 


ANDERS MAMMA Virtual SAN 数 据 存 储 进 行 日 党 管理 ， 同 时 介绍 了 Virtual SAN6.2 引 入 的 多 项 空间 效率 提高 技术 ， 通 过 
使 用 这 些 技术 来 降低 存储 数据 的 空间 开销 以 节省 成 本 。 


5.2.1 在 Virtual SAN 数 据 仔 依 中 部 署 虚 拟 机 


1. 部 署 新 的 虚拟 机 


在 Virtual SAN 数 据 存 储 中 部 署 新 建 虚拟 机 的 过 程 与 传统 虚拟 机 部 署 的 过 程 相同 ， 省 理 员 只 需要 在 选择 存储 时 选择 Virtual 
SAN 数 据 存 储 即 可 ， 如 图 5-16 所 示 。 


2. 迁 移 现 仔 虚 拟 机 


如 果 现 存 的 虚拟 机 存储 在 主机 的 本 地 数据 存储 或 外 部 数据 存储 中 ， 则 可 以 通过 vSphere Storage vMotion 在 不 关机 中 断 服 
务 的 情况 下 进行 实时 迁移 。 


石 击 需 要 迁移 的 主机 ， 选 择 Migrate，vSphere Web Client 会 跳出 如 图 5-17 所 示 的 界面 。 迁 移 类 型 选择 Change storage 
only。 单 击 Next 继 续 。 


1 Select creation type Select storage 
Select the datastore in which to store the configuration and disk files 


w X 1a Select a creation type 
2 Edit settings 


VM Storage Policy: | Virtual SAN Default Storage Policy PE; 


The following datastores are accessible from the destination resource that you selected. Select the destination datastore for the virtual 
v^ 2b Select a compute resource machine configuration files and all of the virtual disks. 


^ 2c Select storage Name Capacity 


2d Select compatibility Compatible 
E3 vsanDatastore 


vV 2a Select a name and folder 


Storage DRS 


2e Select a guest OS 
2f Customize hardware 


3 Ready to complete 


« | 


Compatibility: 


© Compatibility checks succeeded. 





图 5-16 ”选择 虚拟 机 存储 策略 
(Ò Book Win7 - Migrate 


1 Select the migration type Select the migration type 


Change the virtual machines’ compute resource, storage, or both. 
2 Select storage 


3 Ready to complete () Change compute resource only 


Migrate the virtual machines to another host or cluster. 


(e) Change storage only 
Migrate the virtual machines' storage to a compatible datastore or datastore cluster. 


() Change both compute resource and storage 
Migrate the virtual machines to a specific host or cluster and their storage to a specific datastore or datastore cluster. 


"t T 
noe f rs 





图 5-17 迁移 虚拟 机 存储 


在 选择 虚拟 机 迁移 的 目的 地 存储 上 时， 选择 Virtual SAN 数 据 存储 。 单 击 Next 一 Finish 完 成 迁移 。 如 图 5-18 所 示 。 
5.2.2 ” 重 命 名 Virtual SAN 数 据 存储 


Virtual SAN 数 据 存储 支持 管理 员 根 据 实际 需要 上 自 定义 名 称 ， 管 理 员 可 以 在 Inventory 一 Storage (清单 一 和 存储) 中 找到 
Virtual SAN 数 据 存 储 ， 右 击 选择 Rename 对 其 进行 重 命名 。 如 图 5-19 所 示 。 


w^ 1 Select the migration type Select storage 


Select the destination storage for the virtual machine migration. 
2 Select storage 


3 Ready to complete Select virtual disk format: As defined in the VM storage policy Y 


VM Storage Policy: Datastore Default | > 


The following datastores are accessible from the destination resource that you selected. Select the destination datastore for the virtual 
machine configuration files and all of the virtual disks. 


Name Capacity Provisioned Storage DRS 
E3 vsanDatastore 16.2 TB 6.44 TB 
E3 datastore1 (1) 1.81 TB 165.31 GB 


La] 





Compatibility: 
Bà) Book Win7 
| B 10.110.186.33 





Finish | Cancel | 


H Actions - vsanDatastore 
(qi Browse Files 


ey Register VM... 

@ Refresh Capacity Information 

Es; Change Default Storage Policy... 

Es} Manage Storage Providers 
settings 


Move Io... 
Rename... 
Tags 


Add Permission... 
Alarms E 





All vRealize Orchestrator plugin Actions  » 


E5-19 &4 % Virtual SAN 数 据 存 储 


5.2.3 ”查看 Virtual SAN 容 量 


通过 VMware Web Client 查 看 Virtual SAN 数 据 存 储 容量 是 Virtual SAN6.2 引 入 的 增强 功能 。 管 理 员 可 以 在 日 常 管理 中 实时 
监控 Virtual SAN 容 量 ， 及 时 掌握 Virtual SAN 数 据 存 储 的 相关 信息 。 在 Virtual SAN 集 群 的 Monitor 一 Virtual 
SAN 一 Capacity (监控 一 Virtual SAN 一 容量 ) 中 可 以 查看 Virtual SAN 数 据 存 储 容量 的 详细 情况 。 如 图 5-20 所 示 。 


"Capacity Overview" (容量 概览 ) 显示 了 Virtual SAN 数 据 存 储 的 存储 容量 ， 包 括 已 用 空间 和 可 用 空间 。 “Used 
Capacity Breakdown" (已 用 容量 细 目 ) 显示 不 同 对 象 类 型 或 数据 类 型 使 用 的 容量 百分比 。 如 果 选 择 “Data types” (数据 类 
型 ) Virtual SAN 将 显示 主要 虚拟 机 数据 使 用 的 容量 百分比 、Virtual SAN 开 销 以 及 临时 开销 。 如 果 选 择 “Object types” (对 
象 类 型 ) , Virtual SAN 将 显示 以 下 对 象 类 型 使 用 的 容量 百分比 : 


Getting Started Summary | Monitor | Manage Related Objects 


f 
| 


| —— 
issues | Performance | Profile Compliance | Tasks | Events | Resource Reservation | Virtual SAN | Utilization 


44 Capacity Overview Deduplication and Compression Overview 
Physical Disks pu 
Virtual Disks ) TB 11.64 TB USED BEFORE: 5.59 TB 
Resyncing Components [71 Used - Total 2.33 TB 
Health E Deduplication and compression overhead 630.87 GB USED AFTER: 233 TB 
Free 8.7 TB 
Proactive Tests Savings 


Ratio 


Used Capacity Breakdown 
Breakdown of the used capacity before it was deduplicated and compressed 


Group by: | Object types X 


0 TB 
Ng Virtual disks 5.06 TB (82%) 
INE VM home objects 9.35 GB (0*6) 
ll Swap objects 384.15 GB (6%) 

Performance management objects 716 MB (0%) 
Nl File system overhead 960 MB (0%) 


mw Deduplication and compression overhead 630.87 GB (1096) 





[£3 Checksum overhead 145.75 GB (2*6) 


E5-20 4 Virtua SAN 数 据 存 储 的 存储 容量 


. 虚拟 磁盘 


- PPLE gg 


` 交换 对 象 


` 性 能 管理 对 象 


- mem X 4# 


` 文件 系统 开销 


+ 校 验 和 开销 


快照 内 存 


“ 去 重 和 压缩 开销 


. 其 他 对 象 类 型 ， 例 如 用 户 创建 的 文件 、 虚 拟 机 模板 等 


5.2.44 去 重 与 压缩 
Virtual SAN 使 用 块 级 别 的 去 重 与 压缩 来 节省 存储 空间 。 当 管理 员 在 Virtual SAN 集 群 中 启用 了 去 重 与 压缩 ， 系 统 便 会 减少 每 
个 磁盘 组 中 的 宛 余 数据 。 


去 重 删除 了 宛 余 的 数据 块 ， 而 压缩 删除 了 每 个 数据 块 之 间 的 额外 匈 余 。 通 过 两 项 技术 的 协同 工作 可 以 显著 降低 虚拟 机 对 数据 
存储 的 空间 需求 。Virtual SAN 在 将 数据 从 缓存 层 移动 到 容量 层 的 过 程 中 才 使 用 去 重 与 压缩 反 术 。 虽 然 我 们 是 在 整个 集群 上 设置 
去 重 与 压缩 ， 但 是 这 两 项 瓜 术 会 直接 应 用 到 磁盘 组 级 别 。 当 去 重 与 压缩 在 Virtual SAN 集 群 上 局 用 后 ， 单 个 磁盘 组 上 的 见 余 数据 
便 会 降低 到 只 有 一 个 单独 的 副本 。 


在 启用 去 重 与 压缩 之 前 ， 请 确保 您 的 Virtual SAN 集 群 是 全 | 闪存 架构 的 ， 并 且 Virtual SAN 配 置 的 许可 证 满足 相关 要 求 。 
1. 启 用 去 重 与 压缩 


如 图 5-21 所 示 ， 在 Virtual SANS&BERJManage- Settings Virtual SAN 一 General (管理 一 设置 一 Virtual SAN 一 常规 ) 
中 可 以 看 到 去 重 与 压缩 功能 是 关闭 的 。 单 击 Edit 以 修改 Virtual SAN 设 置 。 如 图 5-21 所 示 。 


(7 Virtual SAN Cluster — Actions ~ 


summary Monitor | Manage | Related Objects 











| Settings | Scheduled Tasks | Alarm Definitions | Tags | Permissions 





44 Virtual SAN is Turned ON 


v Services Add disks to storage Manual 


vSphere DRS "CHE: l 
Deduplication and compression Disabled 


vSphere HA 
+ Virtual SAN Internet Connectivity 


Disk Management Proxy 


Fault Domains & Stretched 
Cluster 


User name 


Health and Performance On-disk Format Version 





Configuration 
* g Disk format version 


General Disks with outdated version 
Licensing 

VMware EVC 

VM/Host Groups 

VM/Host Rules 

VM Overrides 


Host Options 


Profiles 





图 5-21 Virtual SAN 通 用 设置 


在 Deduplication and compression 栏 ， 将 Disabled 修 改 为 Enabled 以 启用 去 重 与 压缩 功能 。 如 图 5-22 所 示 ， 系 统 警告 启 
用 该 功能 需要 重新 格式 化 Virtual SAN 集 群 中 的 所 有 人 磁盘。 根据 数据 存储 中 现 有 存储 文件 数量 和 类 型 的 不 同 ， 会 花费 一 定 的 时 
间 。 单 击 OK 以 完成 局 用 去 重 与 压缩 功能 。 


2. 验 证 去 重 与 压缩 是 否 成 功 局 用 


管理 员 可 以 在 Virtual SANS&BÉBSMonitor— Virtual SAN 一 Capacity 中 验证 去 重 与 压缩 的 实际 效果 。 如 图 5-23 所 
示 ，“Deduplication and Compression Overview" (去 重 与 压缩 概览 ) 显示 去 重 与 压缩 消耗 了 630.87GB 的 固定 容量 ， 这 部 
pA 52 2 


分 容量 消耗 是 系统 需求 占用 的 。 在 页 面 右上 角 可 以 看 到 Virtual SAN 数 据 存 储 启用 去 重 与 压缩 前 后 占用 空间 的 对 比 。 由 于 去 重 与 
压缩 功能 的 启用 ， 给 Virtual SAN 数 据 存储 节省 了 3.26TB 的 存储 空间 ， 当 前 去 重 与 压缩 比率 为 2.4 倍 。 


iv] Turn ON Virtual SAN 


Add disks to storage | Manual | m | 


Requires manual claiming of any new disks on the 
included hosts to the shared storage. 


Deduplication and compression Enabled 


| 


Allow Reduced Redundancy @ 


Changes require a rolling reformat of all disks 
in the VSAN cluster. Depending on the amount 
A of data stored, this might take a long time. 
Enabling this feature would lead to some 
performance degradation. 
Licensing A license must be assigned to the cluster in 
A order to create disk groups or consume disks 
automatically. 





图 5-22 启用 去 重 与 压缩 功能 


Getting Started Summary | Monitor | Manage Related Objects 
| issues | Performance | Profile Compliance | Tasks | Events | Resource Reservation | Virtual SAN | Utikzation 
« Capacity Overview 


Physical Disks cy 
0 TB 


Virtual Disks 
Resyncing Components [E] Used - Total 


Health ll Deduplication and compression overhead 


E ree 


Proactive Tests 


Deduplication and Compression Overview 


USED BEFORE: 5.59 TB 


USED AFTER: 2.33 TB 


Savings 


Ratio 


Used Capacity Breakdown 


Breakdown of the used capacity before it was deduplicated and compressed 


Group by: | Object types 


| 


0 TB 62 TB 


gg] Virtual disks 5.06 TB (82%) 
9.35 GB (0%) 
384.15 GB (6%) 
716 MB (0%) 
960 MB (0%) 


630.87 GB (10%) 


I VM home objects 
ll Swap objects 


| ] Performance management objects 


lli File system overhead 


ES Deduplication and compression overhead 
ll Checksum overhead 





145.75 GB (2*6) 


图 5-23 Virtual SAN 数 据 存储 的 容量 信息 





名 注意 “根据 实际 存储 文件 的 不 同 ，Virtual SAN 的 去 重 与 压缩 比率 会 显著 变化 。 
5.2.5 ”RAID5/6 纠 删 码 


除了 去 重 与 压缩 功能 ，RAID5/6 纠 删 码 (Erasure Coding) 也 可 以 用 于 提高 存储 效率 ， 这 是 因为 纠 删 码 在 提供 RAID1 级 别 
的 数据 保护 的 同时 降低 了 存储 空间 的 使 用 率 。 表 5-1 列 出 了 RAID1 与 RAID5/6 在 不 同情 况 下 的 空间 消耗 对 比 。 


表 5-1 RAID1 与 RAID5/6 在 不 同情 况 下 的 空间 消耗 对 比 


数据 大 小 空间 需求 


100 GB 200 GB 


RAID 配置 允许 的 故障 数 
RAID 1 (镜像 ) 
4 个 故障 域 的 RAID 5/6 100 GB 133 GB 


RAID 1 (镜像 ) 100 GB 300 GB 


6 个 故障 域 的 RAID 5/6 100 GB 150 GB 


此 外 ， 通 过 启用 RAID5/6 纠 删 码 ，Virtual SAN 可 以 在 数据 存储 中 容忍 最 多 两 块 存储 设备 的 故障 。 
启用 RAID5/6 纠 删 码 


管理 员 可 以 通过 设置 虚拟 机 存储 策略 将 RAID5/6 纠 删 码 应 用 于 虚拟 机 。 如 图 5-24 所 示 ， 人 在 故障 容 礼 方式 (Failure tolerance 
method) =F, iE “RAID-5/6 (Erasure Coding) -Capacity”， 将 允许 的 故障 数 设 置 为 1， 即 为 RAID5; 将 允许 的 故障 数 设 
置 为 2， 即 为 RAID6。 需 要 注意 的 是 ，RAID5/6 纠 删 码 不 支持 允许 的 故障 数 为 3。 


在 设置 完 虚 拟 机 存储 策略 后 ， 只 需要 将 存储 策略 应 用 于 虚拟 机 或 相应 的 VMDK 即 可 。 如 图 5-25 所 示 。 


5.2.6 Virtual SAN 人 集群 重新 平衡 


重新 平衡 是 Virtual SAN6.0 引 入 的 新 特性 ， 通 过 重新 平衡 操作 可 以 在 集群 中 重新 分 布 资源 以 维持 持久 的 集群 性 能 与 可 用 性 。 


当 集群 中 任何 容量 设备 的 利用 率 达到 80”% 时 ，Virtual SAN 将 上 自动 重新 平衡 集群 ， 直 到 所 有 容量 设备 的 利用 率 都 低 于 辣 值 。 
集群 重新 平衡 会 在 集群 中 平均 分 配 资 源 ， 以 保持 一 致 的 性 能 和 可 用 性 。 以 下 操作 也 会 司 动 集群 重新 平衡 


- Virtual SAN 检 测 到 集群 中 出 现 硬件 故障 。 
- 使 用 迁移 全 部 数据 选项 将 Virtual SAN 主 机 置 于 维护 模式 。 


- 分 配 了 FTT 二 0 的 对 象 位 于 Virtual SAN 主 机 时 ， 使 用 确保 可 访问 性 将 主机 置 于 维护 模式 。 


ES VSAN-RAIDS: Edit VM Storage Policy 


Name and description Rule-Set 1 


Select rules specific for a datastore type. Rules can be based on data services provided by datastore or based on tags. 
Rule-Set 1 The VM storage policy will match datastores that satisfy all the rules in at least one of the rule-sets. 


Storage compatibility 


Rules based on data services | VSAN | v Storage Consumption Model 


ey ee 9 RAID-5/6 (Erasure Coding) - Capa... A virtual disk with size 100 GB 


would consume: 
RAID-1 (Mirroring) - Performance " 
Number of failures to tolerate torage space 
j 9 RAID-5/6 (Erasure Coding) - Capacity 133 n 


Initially reserved storage space 
0B 


Reserved flash space 
0B 


| «Add rule» 


Rules based on tags 


| Add tag-based rule... | 





Add another rule set | Remove this rule set 
cance 





图 5-24 启用 RAID5/6 纠 删 码 


(31 c500a-2: Manage VM Storage Policies 


Select a common storage policy for all storage objects or use the table below to define different policies for the different storage objects. 


VM storage policy: | VSAN-RAIDS |» || Apply to all 


Name 
E VM home 
& Hard disk 1 100 GB 


Disk Size VM Storage Policy Datastore 


Virtual SAN Default Storage Policy 
VSAN-RAID5 


E3 vsanDatastore 
E3 vsanDatastore 


Predicted impact on storage consumption: 





图 5-25 ”对 虚拟 机 启用 RAID5 


Que 要 为 维护 和 重新 保护 操作 提供 足够 空间 ， 并 最 大 限度 地 减少 Virtual SAN 集 群 中 的 自动 重新 平衡 事件 ， 应 当 随 时 留 
有 30% 的 可 用 容量 。 


管理 员 也 可 以 使 用 Ruby vSphere 控 制 台 (RVC) 手动 重新 平衡 Virtual SAN 和 集群 。 具 体 请 参见 8.2.7 书 。 


5.3 扩展 Virtual SAN 架 构 


Virtual SAN 可 以 通过 横向 扩展 和 纵向 扩展 架构 提供 线性 的 人 存储 、 性 能 和 计算 扩展 能 力 ， 如 图 ?5-26 所 示 。 在 不 影响 当前 集群 


运行 的 情况 下 ， 可 以 在 集群 中 添加 主机 。 通 过 向 集群 添加 新 的 集群 成 员 ， 集 群 的 存储 和 计算 能 力 都 可 以 得 到 提高 。 如 果 服 务 器 支 


MER, ErEBRDUORTLUCET REHAB TIS MAIRA, Tease iA SF ete. 
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im) 


Cache 
Device 


(Drd: 
Capacity 
Devices 


Capacity 
Devices 


Y Y ; Y Y a a 
Capacity Capacity Capacity 
Devices Devices Devices 
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| Virtual SAN | Virtual SAN | Virtual SAN ! Virtual SAN 
-i Network | Network | Network 1 Network j 


图 5-26 ”扩展 Virtual SANA £2 Ø 


5.3.1 fJ] je 


在 对 Virtual SAN 进 行 横向 扩展 时 ， 只 需 右 击 Virtual SAN 集 群 选择 Add Host 即 可 将 新 主机 添加 到 Virtual SAN 集 群 中 ， 如 图 
5-27 所 示 。 需 要 注意 的 是 ， 如 果 在 局 用 Virtual SAN 时 选择 了 手动 模式 ， 在 完成 添加 新 主机 后 ， 需 要 手动 在 新 添加 的 主机 上 创建 
磁盘 组 。 若 是 目 动 模式 则 会 根据 主机 上 磁盘 设备 的 实际 情况 ， 目 动 创建 磁盘 组 。 


E] Actions - VSAN Cluster 


“a Add Host... 
EN Move Hosts into Cluster... 


New Virtual Machine 
New vApp 
® New Resource Pool... 
tp Deploy OVF Template... 


Restore Resource Pool Tree... 





图 5-27 ”对 Virtual SAN 集 群 进行 横向 扩展 


5.3.2 IRI iz 


在 对 Virtual SAN 进 行 纵向 扩展 时 ， 管 理 员 请 根据 实际 需要 ， 参 考 以 下 指导 原则 : 
He RS: 在 集群 中 的 主机 上 添加 额外 的 或 更 大 的 容量 盘 。 
S 改善 缓存 性 能 : 在 集群 中 的 主机 上 添加 额外 的 或 更 大 容量 的 固态 缓存 盘 。 


同时 改善 缓存 性 能 并 增加 容量 : 在 集群 中 添加 额外 的 磁盘 组 。 


5.4 升级 Virtual SAN 一 从 版 本 5.5 到 版 本 6 


5.4.1 升级 综述 


Virtual SAN6 针 对 磁盘 组 和 快照 拥有 新 的 在 线 磁 盘 格 式 。 在 先前 版 本 升级 Virtual SAN 时 ， 需 要 同时 升级 VMware ESXi 和 


VMware vCenter Server。 
升级 分 为 以 下 两 个 阶段 : 


` 第 一 阶段 (刷新 部 署 或 升级 VMware vSphere) : 该 阶段 包括 升级 vCenter Servet 或 VMware vCenter Server Appliance 并 升级 
ESXi 主 机 。 


. 第 二 阶段 (ARAH) : 该 阶段 包括 重新 格式 化 磁盘 组 和 升级 对 象 。 


5.4.2 ”升级 vSphere 软 件 


在 第 一 阶段 ， 管 理 员 必须 将 vCenter Server 或 vCenter Server Appliance 从 版 本 5.5 升 级 到 版 本 6。 如 图 5-28 所 示 。 





vCenter Server vCenter Server vCenter Server 6 vCenter Server 
2 Applience 5.5 Applience 6 





图 5-28 ”升级 vSphere 软 件 
vSphere 软 件 的 升级 流程 与 先前 版 本 的 vSphere 相 同 : 
- 升级 基于 Windows 或 Linux 的 vCenter Setvet 版 本 5.5 到 版 本 6。 


: 将 ESXi 主 机 从 版 本 5.5 升 级 到 版 本 66， 升级 主机 主要 有 交互 式 (ISO) . Update Manager、 重 新 安装 、 脚 本 升级 四 种 形式 ， 管 
理 员 可 以 根据 实际 需要 进行 选择 。 
Qs 在 主机 进行 升级 进入 维护 模式 时 ， 推 荐 使 用 确保 可 访问 性 选项 以 节约 时 间 。 如 非 必 要 ， 不 推荐 使 用 迁移 全 部 数据 


选项 。 


5.4.3 ”磁盘 格式 转换 
磁盘 格式 转换 分 为 两 个 阶段 ， 为 确保 升级 成 功 ， 请 务必 按照 步骤 进行 相关 操作 。 
1. 第 一 阶段 
在 vSphere 基 础 架构 升级 后 ， 党 理 员 在 升级 数据 仓储 之 前 必须 验证 下 列 预 检 查 和 验证 需求 是 人 否 已 满足 。 
集群 中 的 所 有 主机 都 已 经 连接 到 vCentet Server. 
- 所 有 主机 都 已 经 升级 到 ESXi6 。 
所 有 主机 都 在 同一 个 Virtual SAN 集 群 中 。 


- Virtual SAN 集 群 中 不 存在 网 络 分 区 。 


: Virtua SAN 配 置 为 手动 模式 。 
2. 第 二 阶段 


在 磁盘 格式 转换 阶段 ， 所 有 的 容量 设备 中 的 虚拟 机 文件 系统 逻辑 单元 号 (VMFS-L) 磁盘 格式 航 著 换 成 Virtual SAN 文 件 系 
统 (VSAN FS) 格式 。 在 开始 磁盘 格式 转换 后 ，ESXi5.5 软 件 版 本 的 Virtual SAN 节 点 将 不 能 再 加 入 Virtual SAN6 集 群 。 每 个 磁 
盘 组 的 磁盘 格式 转换 需要 分 别 执行 以 下 任务 : 


- 从 磁盘 组 中 迁 出 所 有 数据 。 
重新 格式 化 为 新 的 在 线 磁 盘 文 件 格 式 。 
: 确保 VSAN FS 磁盘 中 的 所 有 对 象 为 VYMFS-L 格 式 。 
C 转换 所 有 对 象 为 VSAN FS 格式 ， 此 时 所 有 的 Virtual SAN6 特 性 都 可 用 。 
在 以 下 状态 下 ， 可 以 进行 升级 回 深 操作 : 
` 在 格式 转换 开始 之 前 ，vSphetre 软 件 从 版 本 6 回 滚 到 版 本 5.5U1 是 完全 支持 的 。 


“ 在 对 象 被 转换 为 VSAN FS 之 前 ， 磁 盘 格 式 可 以 从 VSAN FS 回 滚 到 VMFS-L。 


5.5 删除 Virtual SAN 集 群 


在 某 些 情况 下 ， 管 理 员 可 能 需要 删除 Virtual SAN 集 群 或 集群 中 的 某 台 主机 。 将 主机 置 于 维护 模式 移出 集群 的 做 法 并 不 能 彻 
底 地 将 主机 从 Virtual SAN 集 群 中 删除 。 因 为 主机 的 网 络 配置 依旧 在 Virtual SAN 中 。 当 移出 的 主机 加 入 到 其 他 集群 中 
时 ，vSphere 也 会 因为 主机 无 法 局 用 Virtual SAN 而 告警 操作 失败 。 


为 方便 管理 员 管 理 ，VMware 建 议 使 用 以 下 删除 步 又: 

1) 关闭 或 迁移 需要 删除 主机 或 集群 中 所 有 的 虚拟 机 。 

2) 将 集群 中 需要 删除 的 主机 或 所 有 主机 置 于 维护 模式 。 如 果 不 删 除 集群 ， 可 以 考虑 迁 出 主机 中 的 数据 。 
3) 删除 需要 移出 Virtual SAN 集 群 主机 上 的 所 有 磁盘 组 。 


4) 在 为 Virtual SAN 建 立 的 分 布 式 交 换 机 上 对 分 布 式 交 换 机 进行 管理 ， 删 除 主机 添加 在 分 布 式 交换 机 上 的 VMkernel 适 配 


5) 再 次 对 分 布 式 交 换 机 进行 管理 ， 删 除 主机 分 配给 分 布 式 交换 机 的 物理 网 络 适 配器 。 
6) 在 分 布 式 交 换 机 中 移 除 主 机 。 
7) 如 果 管 理 员 需要 删除 Virtual SAN 人 集群， 在 集群 的 Related Objects 下 迁 出 所 有 的 主机 到 数据 中 心 下 。 


8) 在 以 上 步骤 全 部 完成 后 ， 选 中 集群 石 击 即 可 删除 。 


56 ”本 章 小 结 


正确 管理 Virtual SAN 中 的 存储 设备 至 天 重要 ， 本 章 论述 了 在 不 同 模式 下 的 磁盘 和 磁盘 组 管理 ， 包 括 添加 、 删 除 磁盘 以 及 迁 
移 磁盘 组 数据 。 同 时 重点 前 还 了 运用 Virtual SAN6.2 的 去 重 与 压缩 、RAID5/6 纠 删 码 等 新 功能 进行 数据 存储 日 党 管理 来 书 约 空间 
和 成 本 。 另 外 ， 本 章 指导 读者 如 何 扩展 升级 Virtual SAN 及 删除 Virtual SAN 集 群 。 


第 6 章 ”监控 Virtual SAN 


尽管 绝 大 多 数 Virtual SAN 的 管理 操作 都 可 以 通过 vSphere Web Client 用 户 界面 来 完成 ， 但 是 我 们 还 有 一 些 额 外 的 工具 用 来 
监控 Virtual SAN， 并 进一步 诊断 故障 、 排 除 错误 。 学 习 如 何 设置 和 使 用 这 些 工 具 ， 有 助 于 更 深层 次 地 理解 并 有 效 管理 Virtual 
SAN。 本 章 主 要 介绍 Virtual SAN 日 常 管理 中 可 能 使 用 到 的 监控 工具 。 


6.1 常用 的 Virtual SAN 监 控 工 具 


常用 的 Virtual SAN 监 控 工 具 主 要 有 : 
- Virtual SAN 运 行 状况 检查 插件 (Health Service) 
- Virtual SAN 性 能 服务 (Performance Service) 
- Ruby vSphere Console (RVC) 
: Virtual SAN Observer 
- vRealize Operations for Management Pack for Storage Devices (MPSD) 
. vRealize Log Insight 
: ESXCLI 


利用 以 上 这 些 工具 ， 可 以 对 Virtual SANDS SSRI. BERS DESAI T BEES Amis LR. 


6.2 Virtual SAN 和 运行 状况 检查 插件 


1.Virtual SAN 运 行 状况 检查 插件 简介 


从 Virtual SAN6.0 版 本 开始 ，Virtual SAN 默 认 提 供 运 行 状 况 检 查 插件 。 该 功能 可 以 检查 Virtual SAN 中 多 项 服务 的 健康 状 
态 ， 并 且 帮 助 用 户 分 析 产 生 某 些 错误 的 根本 原因 。 除 了 监控 Virtual SAN，VMware 推 荐 当 对 Virtual SAN 进 行 诊断 和 排 错时 ， 首 
先 选 择 通过 Virtual SAN 运 行 状 况 检查 插件 来 进行 。 当 检测 到 某 项 错误 时 ，Virtual SAN 运 行 状况 检查 插件 会 对 此 错误 进行 高 亮 显 
示 ， 并 引导 管理 员 链接 到 正确 的 VMware 知 识 库 文章 ， 来 帮助 管理 员 分 析 并 解决 此 问题 。 


2. 启 用 和 配置 Virtual SAN 运 行 状况 检查 插件 


Virtual SAN 运 行 状 况 检 查 插件 的 启用 十 分 简单 ， 管 理 员 只 需 登 录 vSphere Web Client， 选 中 Virtual SAN 集 群 ， 导 航 到 
Manage 一 Settings 一 Virtual SAN 一 Health and Performance (管理 一 设置 一 Virtual SAN 一 运行 状况 和 性 能 ) 就 可 以 看 到 
Health service 服务 。 如 图 6-1 所 示 。 


Getting Started Summary Monitor | Manage | Related Objects 


Settings | Scheduled Tasks | Alarm Definitions | Tags | Permissions | 





« Health Service 


v Services 
vSphere DRS 
vSphere HA 

~ Virtual SAN 


General HCL Database Update from file... Get latest version online 


Disk Management Last updated ^ One day ago (3/29/16) 


Health service status @ Enabled 
Health service version 6.2.0.0 


Health check interval 60 minutes 


Fault Domains & Stretched 


Cluster Support Assistant Upload Support Bundles to Service Request... 
Health and Performance 
Last upload time - 


v Configuration 


General Performance Service is Tumed OFF 


Licensing Stats object health 
VMware EVC 


VM/Host Groups 


Stats object UUID 
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VM/Host Rules 


VM Overrides 
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Host Options 
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图 6-1 Virtual SAN Health Service 服 务 页 面 


如 图 6-2 所 示 ， 当 前 Health 服 务 已 启用 。 运 行 状况 检查 周期 为 60 分 钟 ， 管 理 员 可 以 根据 实际 需要 对 其 进行 更 改 。 单 击 页 面 右 
上 角 的 Edit settings， 页 面 即 会 弹出 窗口 进行 设置 。 


由 于 Virtual SAN 在 进行 运行 状况 检查 时 需要 消耗 一 定 的 系统 物理 资源 ， 为 保证 Virtual SAN 可 以 工作 在 最 佳 模式 下 ， 请 不 要 
将 运行 状况 检查 的 周期 设置 得 大 短 。 建 议 时 间 周 期 大 于 等 于 15 分 钟 。 


Edit Periodical Health Check 


Iv] Turn ON periodical health check 


Time interval: | 60 人 | minutes @ 





图 6-2 ”启用 运行 状况 检查 
3. 使 用 Virtual SAN 运 行 状况 检查 插件 


当 Virtual SAN 启 用 并 配置 完成 以 后 ， 管 理 员 可 以 在 vSphere Web Client 上 ， 导 航 到 Cluster 一 Monitor 一 Virtual 
SAN 一 Health (集群 一 监控 一 Virtual SAN 一 运行 状况 ) 来 查看 健康 状态 信息 。 有 关于 健康 状态 的 子 类 会 被 展示 出 来 ， 其 中 每 一 
项 都 可 以 单 击 、 展 开 来 查看 它 的 详细 内 容 。 单 击 右 上 角 的 Retest， 可 以 在 任何 时 刻 重 新 检测 健康 状态 ， 以 便于 获取 最 新 的 健康 信 
息 。 如 图 6-3 所 示 。 


Wj VSAN Cluster Actions ~ 





Getting Started Summary | Monitor | Manage Related Objects 





| issues | Performance | Profile Compliance | Tasks | Events | Resource Reservation | vSphere DRS | Utilization | Virtual SAN | Data Security | Guest Introspection 
L 1 i 


« Virtual SAN Health (Last checked: Today at 11:06 AM) 


Physical Disks 





Test Result Test Name 


Virtual Disks © Passed Cluster health 


Resyncing Components © Passed Data health 
Health @ Passed Limits health 
Proactive Tests © Passed Network health 

© Passed Physical disk health 

© Passed Virtual SAN HCL health 





图 6-3 ”监控 Vittual SAN 健 康 状 态 


4. 通 过 Virtual SAN 运 行 状 况 检 查 插 件 便 看 错误 信息 


— /= 


当 运 行 状况 检查 中 某 一 项 内 容 显 示 为 有 配置 错误 时 ，Virtual SAN 运 行 状况 检查 插件 会 将 错误 信息 置顶 展示 ， 具 体 的 错误 信 
息 会 在 页 面 下 方 的 详细 信息 列表 中 显示 出 来 。 如 图 6-4 所 示 。 


在 上 图 的 例子 中 ， 有 一 项 高 级 配置 项 VSAN.ClomRepairDelay 在 这 个 集群 的 各 个 ESXi 主 机 上 的 配置 数值 不 同 ， 在 某 个 ESXi 
主机 上 的 数值 配置 为 30 分 钟 ， 但 是 在 其 他 ESXi 主 机 上 的 数值 配置 为 60 分 钟 ， 所 以 Virtual SAN 运 行 状 况 检 查 插件 报 出 了 错误 。 


5. 通 过 Virtual SAN 运 行 状 况 检查 插件 进行 故障 处 理 


在 Virtual SAN 运 行 状况 检 杏 插件 的 页 面 上 ， 单 击 选择 某 一 项 错误 信息 时 ， 在 页 面 石 侧 会 出 现 一 个 Ask VMware 的 按钮 。 如 
图 6-4 所 示 ， 单 击 这 个 按钮 ， 管 理 员 将 会 被 导航 到 摘 述 该 错误 并 提供 错误 解决 方案 的 VMware 在 线 知 识 库 。 通 过 知识 库 文章 ， 管 
理 员 可 以 学 习 到 产生 这 项 错误 的 根本 原因 ， 并 能 获得 如 何 解 决 这 项 错误 的 详细 步 又 。 


() VSAN-Cluster Actions + 
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0 
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图 6-4 ”监控 Virtual SAN 健 康 状态 


有 关 Virtual SAN 运 行 状 况 检查 插件 的 详细 信息 ， 读 者 可 以 参考 “Virtual SAN 运 行 状况 检查 服务 指南 (Virtual SAN Health 


Services Guide) " , 


6.3 Virtual SAN 性 能 服务 


6.3.1 Virtual SAN 性 能 服务 简介 


Virtual SAN 性 能 服务 (Performance Service) 是 Virtual SAN6.2 引 入 的 新 功能 ， 其 与 vSphere Web Client 完 全 融合 ， 使 
管理 员 可 以 在 同一 平台 对 Virtual SAN 进 行 安装 、 配 置 、 管 理 与 监控 。 相 比 于 Virtual SAN Observer, Virtual SAN 性 能 服务 不 
再 需要 通过 vCenter Server 内 置 的 RVC 命 令 局 动 ， 且 一 旦 局 动 即 可 永久 运行 ， 以 便 管理 员 得 看 系统 状态 的 历史 数据 。 


Virtual SAN 性 能 服务 不 仅 可 以 观察 Virtual SAN 集 群 的 相关 性 能 数据 ， 而 且 可 以 根据 实际 需要 观察 相应 主机 或 虚拟 机 ， 甚 至 
是 磁盘 /磁盘 组 的 存储 性 能 数据 。 管 理 员 只 需要 选中 需要 查看 性 能 数据 的 实体 (集群 、 主 机 或 虚拟 机 ) ， 即 可 在 
Monitor 一 Performance (监控 一 性 能 ) 中 查看 相关 存储 性 能 数据 ， 如 图 6-5 所 示 。 
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图 6-5 Virtual SAN 性 能 服务 页 面 


6.3.2 ”启用 Virtual SAN 性 能 服务 


在 管理 员 创 建 完 Virtual SAN 集 群 之 后 ， 性 能 服务 默认 是 关闭 的 。 在 局 用 Virtual SAN 性 能 服务 之 前 ， 请 确保 Virtual SAN 集 
群 已 经 合理 配置 且 通 过 了 Health Check 的 运行 状况 检查 。 


在 满足 前 提 条 件 的 状态 下 ， 管 理 员 可 以 登录 vSphere Web Client， 选 中 Virtual SAN 集 群 ， 在 Manage 一 Settings 一 Virtual 
SAN 一 Health and Performance (管理 一 设置 一 Virtual SAN 一 运行 状况 和 性 能 ) 页 面 启 用 。 如 图 6-6 所 示 。 


由 图 6-6 可 以 看 到 性 能 服务 默认 关闭 ， 单 击 页 面 右 下 方 的 Edit， 在 弹出 的 如 图 6-7 所 示 的 设置 页 面 勾 选 启用 即 可 。 启 用 后 的 界 
面 如 图 6-8 所 示 。 


6.3.3 ”通过 Virtual SAN 性 能 服务 监控 Virtual SAN 集 群 性 能 


在 集群 的 Monitor 一 Performance 页 面 下 ， 管 理 员 可 以 从 虚拟 机 在 Virtual SAN 上 的 消耗 和 Virtual SAN 后 端 两 个 角度 分 别 查 
看 整个 Virtual SAN 集 群 的 人 存储 性 能 数据 。 这 些 参 数 提供 了 整个 Virtual SAN 集 群 的 快速 了 预览， 展示 了 安置 在 Virtual SAN 上 的 对 
象 是 如 何 运 行 的 。 
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图 6-6 ”运行 状况 和 性 能 页 面 


Iv] Turn ON Virtual SAN performance service 


Storage policy | virtual SAN Default Storage ... | > 


The Virtual SAN performance history database is 
stored as a VSAN object. The policy controls the 
availability, space consumption and performance of 
that object. If the object becomes unavailable, the 
performance history for the cluster will also be 
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图 6-7 启用 性 能 服务 


Performance Service is Tumed ON Edit storage policy ... 


Stats object health © Healthy 
Stats object UUID 5042fb56-8172-1a84-a0b5-ecf4bbe95498 


Stats object storage policy — Ec Virtual SAN Default Storage Policy 


Compliance status w Compliant 





图 6-8 ”启用 后 的 性 能 服务 界 


E 


在 Virtual Machine Consumption graphs 下 ， 管 理 员 可 以 从 虚拟 机 消耗 的 角度 查看 Virtual SAN 集 群 中 所 有 客户 端 (虚拟 
机 、 数 据 对 象 等 ) 的 存储 性 能 数据 ， 具 体 包括 读 / 写 IOPS、 读 / 写 吞 吐 量 、 读 / 写 延 迟 、 读 / 写 拥塞 以 及 待 处 理 IO (Outstanding 
IO) 。 如 图 6-9 所 示 。 
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图 6-9” Virtual SAN 集 群 的 虚拟 机 消耗 


在 Virtual SAN-Backend graphs 下 ， 管 理 员 可 以 看 到 更 多 Virtual SAN 后 端的 存储 性 能 数据 。 除 了 读 / 写 的 相关 存储 性 能 数 
据 外 ， 还 记录 了 Virtual SAN 集 群 在 组 件 同步 写 入 时 的 相 天 数据 ， 包 括 组 件 同步 写 入 IOPS、 组 件 同步 写 入 吞吐 量 、 组 件 同步 写 入 
延迟 。 如 图 6-10 所 示 。 


6.3.4 通过 Virtual SAN 性 能 服务 监控 主机 性 能 


在 主机 的 Monitor 一 Performance (监控 一 性 能 ) 页 面 下 ， 管 理 员 可 以 查看 以 主机 为 单位 的 人 存储 性 能 数据 。 由 于 磁盘 、 磁 盘 
组 均 直 接 挂 载 在 主机 上 ， 因 此 管理 员 也 可 以 查看 该 主机 上 具体 磁盘 组 、 磁 盘 的 存储 性 能 数据 。 
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| Issues | Performance | Profile Compliance | Tasks | Events | Resource Reservation | Virtual SAN | Utilization | 
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图 6-10 Virtual SAN 集 群 的 后 台 


在 Virtual SAN-Virtual Machine Consumption 页 面 下 ， 管 理 员 可 以 查看 更 多 以 主机 为 单位 的 虚拟 机 消耗 ， 包 括 读 / 写 
IOPS、 读 / 写 吞 吐 量 、 读 / 写 延 迟 、 读 / 写 拥塞 以 及 待 处 理 IO (Outstanding IO) 。 


在 Virtual SAN-Backend 页 面 下 ， 管 理 员 可 以 查看 更 多 以 主机 为 单位 的 Virtual SAN 后 台 存 储 性 能 数据 。 除 了 读 / 写 IOPS、 
读 / 写 吞吐 量 、 读 / 写 延 迟 、 读 / 写 拥塞 以 及 待 处 理 IO (Outstanding IO) 外 ， 管 理 员 还 可 以 查看 Virtual SAN 在 后 人 台 同 步 时 ， 选 
中 主机 上 承载 的 同步 IDOPS、 同 步 吞 吐 量 、 同 步 延 迟 。 


以 主机 为 单位 的 Virtual SAN 后 台 性 能 如 图 6-11 所 示 。 


在 Virtual SAN-Disk Group 页 面 下 ， 管 理 员 可 以 查看 选中 主机 上 具体 磁盘 组 的 人 存储 性 能 参数 。 这 些 关 键 参数 对 于 我 们 监控 
Virtual SAN 的 正常 运行 十 分 有 用 。 磁 盘 组 具体 存储 性 能 参数 如 表 6-1 所 示 。 


ases [PRSE Tats | Everts | Haare Stats | Log Browser) 


Virtual SAN - Backend 


Tine Range: (Lt Je) Hows) © [Rete 
11:45 AM 11:55 AM 12-05 PM 
Virtual SAN - Virtual 


Machine Consumption 
adit 
Virtual SAN - Disk Group 1 KB/s 


Virtual SAN - Disk 512 B/s 


0 B/s 
11:45 AM 


Resync Latency (9 


1ms 
0.5 ms 


0 ms 
11:45 AM 


Congestions @ 








图 6-11 ”以 主机 为 单位 的 Virtual SANE 4 4E f 
表 6-1 ”磁盘 组 具体 存储 性 能 参数 


性 能 参数 具体 参数 参数 介绍 
ree Virtual SAN 磁盘 组 中 缓存 层 的 前 端 读 取 TOPS (包含 未 
Bt Mig ix HR TOPS a 
前 端 (访客 ) IOPS | Bm A IOPS Virtual SAN 磁盘 组 中 绥 存 层 的 前 端 写 人 IOPS 


读 取 绥 存 读 取 IOPS Virtual SAN 磁盘 组 中 缓存 层 的 读 取 缓存 谈 取 IOPS 
写 人 缓冲 写 人 IOPS Virtual SAN 磁盘 组 中 缓存 层 的 写 人 缓冲 写 人 IOPS 
前 端 读 取 吞 吐 量 Virtual SAN 磁盘 组 中 缓存 层 的 前 端 读 取 否 吐 量 
前 端 写 人 吞吐 量 Virtual SAN R&A ZH PB FF JE AY i Sag AF at 

前 端 读 取 时 延 Virtual SAN 磁盘 组 中 缓存 层 的 前 端 读 取 时 延 

前 端 写 入 时 延 Virtual SAN 磁盘 组 中 缓存 层 的 前 端 写 和 人 时 延 

读 取 缓 存 读 取 时 延 Virtual SAN 磁盘 组 中 缓存 层 的 读 取 缓 存 读 取 时 延 
£j A S WE A ER Virtual SAN 磁盘 组 中 缓存 层 的 写 人 缓冲 写 人 时 延 


Bing (访客 ) APE et 


前 问 (访客 ) 时 


[5 


( ££ ) 








| 污 取 缓存 写 人 的 IOPS Virtual SAN 磁盘 组 中 缓存 层 的 读 取 缓存 写 人 的 IOPS 
fe fF EY) LOPS 
GAS nhiEHRE IOPS Virtual SAN RE EH rp £8 TEAS AS pre B] IOPS 
| | IE HERES AG SE Virtual SAN HAA P x 4p Ez NERS AM E 
缓存 的 IO IF HE | | 
E A SE rie IHE E Virtual SAN EAA P 2g 4g Ez HS AR npe HL] SE 
iE LR TE dp rp R Virtual SAN R AH rP Ex fg EE B3 E HCER TT ip E 
M 缓存 失效 由 于 过 度 写 人 造成 缓存 失效 
t 
撤销 HT E C (EE a AY Evictions 
Gi npe PA EE SS Virtual SAN 磁盘 组 中 缓存 层 的 写 缓 冲 空闲 比率 
Virtual SAN 磁盘 组 的 容量 
已 用 容量 Virtual SAN 磁盘 组 的 已 用 容量 
容量 与 合用 率 预 留 容量 Virtual SAN 磁盘 组 的 预 留 容量 


污 取 缓存 大 小 Virtual SAN 磁盘 组 的 读 取 缓存 尺寸 
BAG mR ot Virtual SAN 磁盘 组 的 写 人 缓冲 尺寸 

SSD B] E SEE Y SSD MJ 5 np fc FA RAS WHAT d 
零 字 节 落 盘 零 字 节 落 盘 到 容量 盘 的 吞吐 量 

IN fF a BE Virtual SAN 磁盘 组 的 内 存 拥塞 

Virtual SAN 磁盘 组 的 Slab H Æ 


缓冲 磁盘 落 盘 率 


| SSD 拥塞 Virtual SAN 磁盘 组 的 SSD 拥塞 
na IOPS 拥塞 Virtual SAN 磁盘 组 的 IOPS HÆ 
SERES Virtual SAN 磁盘 组 的 日 志 拥 塞 
压缩 拥塞 Virtual SAN 磁盘 组 的 压缩 拥塞 
待 处 理 10 Outstanding B 操作 磁盘 组 的 Outstanding 写 操作 数 
| Outstanding IO ) Outstanding 组 件 同 步 写 操作 | 磁盘 组 的 Outstanding 组 件 同步 写 操作 数 


Outstanding 与 10 大 小 et 74 ZA AY) Outstanding 与 IO 大 小 
f$ Mh FH IO : 
(Outstanding IO) 尺寸 | Outstanding $H PF [o] 27 5 10 
RE 


延迟 IO 比率 经 过 Virtual SAN 内 部 队列 的 IO 比例 
WES IO 平均 时 延 MA i Virtual SAN 内 部 队列 的 10 的 平均 时 延 
命令 空间 队列 的 时 迁 在 Virtual SAN 内 部 调度 的 命令 空间 IO 队列 的 时 延 
WES IO 平均 时 延 恢复 队列 的 时 延 在 Virtual SAN 内 部 调度 的 恢复 LO BA 9il AY HT HE 
Mg dU EL BA | EA ET ME 在 Virtual SAN [P ibl BE AY Hg gl HL LO 队列 的 时 延 
JL 3A dis BÀ, 9i] GY EF ME 在 Virtual SAN [^ ibis] EE fu 2X ds LO BÀ Til AY Ep ME 


gi SE eH Outstanding ZH fT [e] 2b S 10 尺寸 











性 能 参数 具体 参数 参数 介绍 
总 计 队 列 IOPS 所 有 经 过 Virtual SAN 内 部 队列 的 IO 的 IOPS 
命名 空间 队列 的 IOPS 在 Virtual SAN 内 部 调度 的 命名 空间 IO 队列 的 IOPS 
内 部 队列 IOPS 恢复 队列 的 IOPS 在 Virtual SAN 内 部 调度 的 恢复 IO 队列 的 IOPS 
虚拟 机 队列 的 IOPS 在 Virtual SAN 内 部 调度 的 虚拟 机 IO 队列 的 IOPS 
元 数据 队列 的 IOPS 在 Virtual SAN 内 部 调度 的 元 数据 IO 队列 的 IOPS 
总 计 队 列 否 吐 量 在 Virtual SAN 内 部 调度 的 所 有 IO 延迟 的 在 吐 量 
命名 空间 队列 的 吞吐 量 在 Virtual SAN 内 部 调度 的 命名 空间 IO 队列 的 厨 吐 量 
内 部 队列 吞吐 量 恢复 队列 的 吞吐 量 在 Virtual SAN 内 部 调度 的 恢复 IO 队列 的 吞吐 量 
虚拟 机 队列 的 重 吐 量 在 Virtual SAN 内 部 调度 的 虚拟 机 IO 队列 的 厨 吐 量 
元 数据 队列 的 吞吐 量 在 Virtual SAN 内 部 调度 的 元 数据 IO Ir] deu hi 


如 图 6-12 所 示 ， 选 中 具体 磁盘 组 ， 即 能 以 图 的 形式 查看 相应 磁盘 组 上 的 存储 性 能 参数 。 
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图 6-12 ”磁盘 组 存储 性 能 参数 


在 Virtual SAN-Disk Group 页 面 下 ， 管 理 员 可 以 监控 挂 载 在 该 主机 上 的 物理 磁盘 性 能 。 物 理 设备 处 于 缓 仔 层 或 是 容量 层 ， 
监控 到 的 性 能 参数 略 有 不 同 。 


14 CE ER BR 


缓存 层 磁 盘 可 以 查看 的 性 能 参数 如 表 6-2 所 示 。 


表 6-2 ”缓存 磁盘 性 能 参数 


性 能 参数 具体 参数 2 A dx 
物理 层 读 取 IOPS Virtual SAN 磁盘 物理 / 固件 层 的 读 取 IOPS 
物理 /固件 层 IOPS | | | 
物理 层 写 人 TOPS Virtual SAN 人 磁盘 物理 / EFES A IOPS 
| 物理 层 谈 取 行 吐 量 Virtual SAN 磁盘 物理 / 固件 层 的 读 取 否 吐 量 
物理 / ps pp ER uE SE —— 
物理 层 写 入 否 吐 量 Virtual SAN 磁盘 物理 / 固件 层 的 写 人 吞吐 量 
物理 层 读 取 时 延 Virtual SAN 磁盘 物理 /固件 层 的 读 取 时 延 
物理 层 写 入 时 延 Virtual SAN 磁盘 物理 /固件 层 的 写 人 时 延 
物理 / 固件 层 时 延 - IE 
访客 平均 延迟 (GAVG) Virtual SAN 磁盘 访客 IO 时 延 (总 时 延 ) 


设备 平均 延迟 (DAVG ) Virtual SAN 磁盘 IO 设备 延迟 (从 HBA 卡 到 后 端 存储 ) 








如 图 6-13 所 示 ， 选 中 的 磁盘 为 缓存 层 可 以 查看 的 相关 性 能 参数 。 


Virtual SAN - Disk 
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图 6-13 2E KE RE XE AR X DE fie D Ac 


容量 层 磁 盘 


D 


容量 层 磁 盘 除 了 可 以 查看 与 缓 仔 层 磁盘 相同 的 性 能 参数 ， 还 可 以 额外 至 看 表 6-3 中 的 性 能 参数 。 


表 6-3 ”容量 磁盘 性 能 参数 


性 能 参数 具体 参数 参数 描述 





物理 层 读 取 IOPS 磁盘 在 物理 /固件 层 的 读 取 IOPS 
物理 /固件 层 IOPS 
物理 层 写 人 IOPS We dà TE V) SE /固件 层 的 写 和 人 IOPS 





物理 层 读 取 延迟 f da dk D) XR /固件 层 的 读 取 延迟 


物理 / 固件 层 延 到 
物理 层 写 人 延迟 磁盘 在 物理 /固件 层 的 写 人 延迟 


图 6-14 所 示 为 容量 层 磁 盘 ， 可 以 查看 到 额外 的 性 能 参数 。 
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图 6-14 ”容量 磁盘 额外 的 性 能 参数 


6.3.5 ”通过 Virtual SAN 性 能 服务 监控 虚拟 机 性 能 


在 虚拟 机 的 Monitor 一 Performance (监控 一 性 能 ) 页 面 下， 管理 员 可 以 查看 以 虚拟 机 为 单位 的 人 存储 性 能 数据 。 除 此 之 外 ， 
管理 员 还 可 以 查看 与 虚拟 机 相关 的 虚拟 磁盘 的 性 能 参数 ， 有 具体 性 能 参数 如 表 6-4 所 示 。 


表 6-4 虚拟 机 虚拟 磁盘 性 能 参数 


性 能 参数 


虚拟 SCSI IOPS 


虚拟 SCSI rut 4 


虚拟 SCSI 延迟 


图 6-15 所 示 为 虚拟 机 中 某 块 磁盘 的 性 能 数据 图 。 
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参数 描述 
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虚拟 机 虚拟 磁盘 的 写 人 TOPS 
虚拟 机 虚拟 磁盘 的 读 取 在 吐 量 
虚拟 机 虚拟 磁盘 的 写 人 厨 吐 量 
虚拟 机 虚拟 磁盘 的 读 取 延 迟 
虚拟 机 虚拟 磁盘 的 写 人 延迟 


VMDK Path 
b8e7f1856-dbcd-4d86-85ab-ecf4bbe945f0/sqlaf-200b.vmdk 
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3:20 PM 
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Virtual SCSI Latency (9 
1.092 ms 


0.546 ms 


0 ms 
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图 6-15 ”虚拟 机 磁盘 的 性 


Virtual SAN 性 能 服务 是 用 来 监控 Virtual SAN 的 存储 性 能 的 最 主要 工具 。 它 可 以 根据 具体 需 





300 PM 3:10 PM 320 PM 


330PM |7 


能 数据 图 


监控 集群 、 主 机 、 磁 盘 组 、 磁 


盘 、 虚 拟 机 、 虚 拟 磁 盘 的 性 能 参数 。 作 为 一 球 监控 与 排 错 工具 ， 在 管理 员 怀 疑 有 错误 出 现时 ， 可 以 第 一 时 间 通 过 Virtual SAN 性 


能 服务 进行 监控 。 


Ruby vSphere Console (RVC) 是 一 款 基 于 Ruby 的 可 扩展 的 管理 平台 。 通 过 它 ， 管 理 员 可 以 调用 任何 vVCenter 服 务 器 暴露 
出 来 的 API。 


简单 来 况 ，RVC 是 一 个 基于 命令 行 的 控制 侣 用户 界面 。 它 不 仅 可 以 用 来 管理 ESXi 主 机 ， 也 可 以 用 来 管理 vCenter Server, 在 
RVC 里 面 ，vSphere 清 单 (Inventory) 被 展示 成 一 个 虚拟 的 文件 系统 。 这 样 残 允 许 管理 员 运 行 一 些 他 们 融 悉 的 类 似 Linux 的 命 
$, 如 “cd” 命令 可 以 切换 目录 ; ‘ls” 命 令 可 以 列 出 目录 的 内 容 (清单 列表 ) 。RVC 已 经 被 扩展 用 于 提供 大 量 关 于 Virtual 
SAN 的 运行 状况 和 配置 的 信息 。 


2. 使 用 RVC 


本 市 将 演示 如 何 进 入 RVC。 在 进入 RVC 之 前 ， 请 确保 托管 Virtual SAN 集 群 的 vCenter Server 已 开局 SSH 服 务 。 由 于 这 一 步 
又 不 在 本 书 的 讨论 范围 内 ， 请 参考 vSphere 管 理 的 相关 文档 。 


1) 在 确保 SSH 启 用 的 前 提 下 ， 管 理 员 可 以 通过 多 种 方式 远程 登录 到 vCenter Server。 登 录 后 的 界面 如 下 所 示 。 需 要 注意 的 
是， 登录 vCenter Server 的 用 户 名 为 root， 而 不 是 administrator。 


admin:~$ ssh root@vcsa.vsphere.local 
VMware vCenter Server Appliance 6.0.0.10000 


Platform Services Controller 


Qu 


Type: vCenter Server with an embedde 
root@ vcsa.vsphere.local's password: 
Connected to service 

* List APIS: "help api list" 

* List Plugins: "help pi list" 

* Enable BASH access: "shell.set --enabled True" 

* Launch BASH: "shell" 


Command» 


2) 根据 提示 ， 输 入 “shell.set--enabled True" 以 启用 Shell 服 务 。 之 后 输入 shell 以 进入 Shell 模 式 ， 系 统 会 弹出 如 下 所 示 


的 相应 警告 页 面 。 


Command»  shell.set --enabled True 

Command» shell 

a 111! WARNING WARNING WARNING !!!! ---------- 

Your use of "pi shell" has been logged! 

The "pi shell" is intended for advanced troubleshooting operations and while 

supported in this release, is a deprecated interface, and may be removed in a 
future version of the product. For alternative commands, exit the "pi shell" 
and run the "help" command. 

The "pi shell" command launches a root bash shell. Commands within the shell 


are not audited, and improper use of this command can severely harm the system. 


Help us improve the product! If your scenario requires "pi shell," please 


submit a Service Request, or post your scenario to the 





https://communities.vmware.com/community/vmtn/vcenter/vc forum and add 
"appliance" tag. 


vcenter:- i 


3) 在 进入 Shell 后 ， 输 入 以 下 命令 以 局 用 RVC。 


rvc administrator@vSphere.local@localhost 


RHrhadministratorQ vSphere.localz&vCenter Server 的 系统 管理 员 账 号 。 如 下 所 示 ， 在 输入 相应 密码 后 ， 登 录 成 功 。 


vcenter:- # rvc administrator@vsphere.local@localhost 


WARNING: Nokogiri was built against LibXML version 2.7.6, but has dynamically 
loaded 2.9.2 
passwor 


通过 使 用 RVC， 我 们 可 以 运行 许多 独立 的 第 三 方 工 具 或 命令 。 在 本 书 中 ， 为 了 介绍 某 些 工具 会 给 出 一 两 个 命令 。 有 关 RVC 的 
完整 命令 列表 和 使 用 说 明 可 以 在 官方 的 vSphere 文 档 中 心 获 得 ， 本 书 只 在 需要 的 时 候 用 到 一 些 与 Virtual SAN 相 关 的 命令 。 
VMware 官方 的 完整 vSphere 文 档 可 以 在 https://www.vmware.com/support/pubs/ 获 得 。 


6.5 Virtual SAN Observer 


1.Virtual SAN Observer 简介 


Virtual SAN Observer 是 一 个 集成 在 RVC 之 中 的 监控 和 排 错 工具 ， 它 可 以 用 来 分 析 Virtual SANS&BE, fREVIrtual SAN 底 
层 的 统计 信息 ， 并 通过 网 页 浏览 器 展示 出 来 。Virtual SAN Observer 是 帮助 管理 员 进 行 Virtual SAN 监 控 、 排 错 的 有 利 工 具 ，。 


Virtual SAN Observer 提供 了 很 多 不 同 角度 的 统计 信息 ， 不 仅 可 以 检查 Virtual SAN 中 各 项 物理 资源 的 使 用 情况 (如 CPU、 
A) ， 也 从 虚拟 机 的 角度 提供 了 各 项 统计 信息 ， 检 查 单个 虚拟 机 占用 了 多 少 资 源 ， 同 时 ， 它 还 能 检查 某 个 虚拟 机 是 否 存 在 与 其 
他 的 虚拟 机 竞争 次 源 的 情况 ， 等 等 。 


2. 启 用 Virtual SAN Observer 


管理 员 需 要 进入 RVC， 通 过 命令 的 形式 启用 Virtual SAN Observer, MSH: 


vsan.observer -/cluster -run-webserver -force 





在 默认 情况 下 ， 该 命令 以 30 秒 为 一 个 周期 收集 1 小 时 数据 。 管 理 员 可 以 根据 实际 需要 人 在 命令 后 加 入 人 参数--interval 对 收集 局 
期 进行 设置 (如 --interval60， 即 为 60 秒 收集 一 次 ) ; 加 入 参数 --max-runtime 对 收集 时 间 进 行 设置 (如 --max-runtime2， 即 
为 收集 2 小 时 数据 ) 。 


3. 观 察 Virtual SAN Observer 数 气 


在 命令 运行 时 请 不 要 关闭 命 令 行 窗 口 ， 管 理 员 可 以 通过 浏览 器 登录 http://vCenter Server IP 地 址 : 8010/ 查 看 Virtual SAN 
Observer 收集 的 实时 数据 。 如 图 6-16 所 示 。 


Hostname: localhost 
Product: VMware vCenter Server 6.0.0 build-3018523 


VC server 


HT uE VSPHERE.LOCAL\Administrator 


Password 





图 6-16 Virtual SAN Observer 3& 


登录 Virtual SAN Observer 以 后 ， 束 可 以 根据 实际 需要 查看 相关 性 能 数据 了 。 如 图 6-17 所 示 ， 管 理 员 可 以 查看 Virtual SAN 
集群 中 每 台 主 机 的 具体 数据 。 有 关 Virtual SAN Observer 监 控 数 据 的 详细 信息 ， 读 者 可 以 参考 “Monitoring VMware Virtual 


ANS 


SAN with Virtual SAN Observer” , 


@ What am | looking at 


Latency we Outstanding IO nd sadov 


Ee 


Latency Congestion Outstanding IO Latency stddev 


10.110.186.33 
Full size graphs 


10.110.186.34 
Full size graphs 





图 6-17 Virtual SAN Observer B72 RH 


6.6 Management Pack for Storage De 


除了 以 上 VMware vCenter Server 中 自 带 的 Virtual SAN 管 理 监 控 工 具 ， 还 可 以 通过 VMware vRealize 
Operations (vROps) 的 插件 Management Pack for Storage Device (MPSD) 从 整个 软件 定义 数据 中 心 的 角度 来 集中 管理 


人 存储 。 
MPSD 是 vRealize Operations 的 一 个 管理 插件 ， 可 以 对 存储 进行 集中 监控 绾 理 。 最 新 版 的 MPSD6.0.4 提 供 了 对 Virtual 


SAN6.0 到 6.2 的 支持 。MPSD 针 对 Virtual SAN 的 分 布 式 染 构 ， 通 过 五 大 控制 面板 提供 了 直观 的 可 视 化 拓扑 视图 ， 可 以 在 
vRealize Operations Manager 的 Ul 中 展示 所 有 物理 硬件 和 Virtual SAN 组 件 的 性 能 与 健康 状态 信息 ， 从 Virtual SAN 集 群 到 多 


DEITA, BSR De (TA EL, BS MS RAVIJFTBOEIBJVirtual SAN 磁 盘 组 ， 再 到 每 个 磁盘 组 内 配置 的 SSD 和 HDD， 
最 后 到 网 络 部 分 的 网 卡 和 虚拟 与 物理 交换 机 等 。 它 不 仅 将 实体 之 间 的 关系 清晰 展现 出 来 ， 还 可 以 同时 通过 颜色 进行 区 分 ， 将 每 个 
对 象 当 前 的 健康 状况 通过 红 、 绿 、 黄 、 栖 等 颜色 标示 出 来 。 我 们 将 对 Virtual SAN 默 认 的 控制 面板 进行 简单 搞 述 。 


1.Virtual SAN6Troubleshooting 


该 视图 提供 端 到 端的 人 存储 拓扑 ， 集 群 主 机 系统 、 虚 拟 机 、 磁 盘 组 、SSD、HDD 以 及 ESXi 物 理 网 络 接口 的 健康 和 警告， 如 图 
6-18 所 示 。 可 以 单 击 拓扑 中 的 任何 一 个 对 象 ，MPSD 可 以 提供 选中 对 象 的 监控 信息 的 详情 ， 如 可 能 的 告警 信息 、 运 行 状态 、 性 


能 监控 数据 等 。 只 要 某 一 对 象 出 现 告警 或 健康 情况 ， 可 视 化 视图 将 对 象 的 颜色 从 绿色 变 成 红色 ， 束 可 以 一 目 了 然 地 了 解 Virtual 
SAN 的 整体 运行 情况 了 。 
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图 6-18 Virtual SAN6Troubleshooting 


2.Virtual SAN6Heatmap 


该 视图 提供 对 象 目 身 预 定义 限制 的 性 能 概述 ， 如 图 6-19 所 示 。 例 如 ， 该 控制 面板 可 以 识别 主机 何 时 到 达 最 大 Virtual SAN 组 
件数 。 
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3. Virtual SAN6Entity Usage 


该 视图 提供 每 个 
机 械 磁 盘 等 。 
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图 6-19 Virtual SANGHeatmap 


类 别 实体 中 使 用 频率 最 高 的 25 个 对 象 的 概述 
如 图 6-20 所 示 。 
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4.Virtual SAN6Device Insight 


该 视图 提供 


以 查看 某 一 块 SSD 的 物理 运行 状态 ， 通 
空 、 分 析 与 报告 扩 术 ) 信息 ， 反 映 盘 的 使 用 情况 (容量 、 性 能 、 磨 损 等 ) 
乡 断 和 解决 问题 提供 依据 。 
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设备 级 别 的 细节 洞察 ， 包 括 Virtual SAN 使 用 设备 的 容量 、 使 用 率 和 设备 错误 ， 如 图 6-21 所 示 。 人 例如， 管理 员 可 
过 集成 9.M.A.R.T (Self-Monitoring, Analysis and Reporting Technology， 自 我 监 


， 并 用 排序 的 方法 ， 束 定位 与 KPI 差距 悬殊 
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5. Virtual SAN6Cluster Insight 
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该 视图 提供 集群 级 别 的 细节 洞察 ， 包 括 Virtual SAN 的 磁盘 组 和 Virtual SAN 数 据 存 储 。 如 图 6-22 所 示 。 
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w3-sabu-sm-014.eng vmware.com DiskGroup 1 
w3-sabu-sm-013.eng.vmware.com DiskGroup 1 
w3-sabu-sm-005.eng vmware.com DiskGroup 1 
w3-sabu-sm-011.eng.vmware.com DiskGroup 1 
w3-sabu-sm-018.eng.vmware.com DiskGroup 1 
w3-sabu-sm-020.enq.vmware.com DiskGroup 1 





a 


&^2? 


Top 25 Highest Utilization 


Objects 

w3-sabu-sm-010.eng.vmware.com DiskGroup 1 
w3-sabu-sm-017.eng.vmware.com DiskGroup 1 
w3-sabu-sm-018.eng.vmware.com DiskGroup 1 
w3-sabu-sm-015.eng.vmware.com DiskGroup 1 
w3-sabu-hp-001.eng.vmware.com DiskGroup 1 
w3-sabu-sm-005.eng.vmware.com DiskGroup 1 
w3-sabu-sm-020.eng.vmware.com DiskGroup 1 
w3-sabu-sm-012 eng vmware.com DiskGroup 1 
w3-sabu-sm-008 enq vmware.com DiskGroup 1 


员 可 以 使 用 该 工具 在 虚拟 化 环境 中 将 由 物理 存储 设备 、 网 络 连接 等 引起 的 问题 隅 离开 来 。 管 理 员 可 以 使 用 vRealize 


Operations6.0 及 以 上 的 任何 一 个 版 本 (包括 标准 版 ) ， 在 Solution Exchange 中 免费 下 载 MPSD， 安 妆 使 用 这 个 新 功能 。 


6./ vRealize Log Insight 





和 性 能 的 监控 与 排 错 。vSphere 管 理 


vRealize Log Insight 是 VMware 推出 的 用 于 动态 虚拟 化 环境 或 混合 云 环境 的 日 志 管理 工具 。 其 通过 与 VMware vRealize 
Operations 集 成 ， 将 非 结构 化 数据 与 结构 化 数据 组 合 到 一 起 ， 从 而 大 幅 增 强 端 到 端的 运 维 管理 能 力 。 如 图 6-23 和 图 6-24 所 示 。 


vmware Log Insight 


Latest 48 hours of data 


contains 
contains 


contains 


# Add Filter 


Number of unique hosts Number of events by hostname Number of events over time 


E w2-pe-vsan-esx 
| w2-pe-vsan-esx 


ll w2-pe-vsan-esx 
w2-pe-vsan-esx 


E w2-pe-vsan-esx 
E w2-pe-vsan-esx 
w2-pe-vsan-esx coU 
lll w2-pe-vsan-esx | | 
10.156.171.38 : [TPT | | [| | | | [TY | | | | 
ir 3 12:0 Mar 31 12 ) 


Number of unique hosts with warning events Number of warning events by hostname Number of warning events over time 


E w2-pe-vsan-esx 


V w2-pe-vsan-esx.. 
i ll w2-pe-vsan-esx. 
w2-pe-vsan-esx 


E w2-pe-vsan-esx.. 


5k 
E w2-pe-vsan-es 
w2-pe-vsan-esx — 
E w2-pe-vsan-esx | 
o | 
Mar 3 12:0 Mar 31 12:0 


图 0-23 vRealize Log Insight 对 主机 日 志 进 行 收 集 





甬 过 在 VMware Solution Exchange 中 安装 VMware 提供 的 Virtual SAN 扩 展 模 块 ， 管 理 员 可 以 通过 直观 的 界面 对 Virual 
SAN 日 志 执 行 交 互 式 搜索 和 深入 分 析 查 询 ， 从 而 快速 排除 故障 。 如 图 6-25 所 示 。 


VMware vRealize Log Insight 可 以 跨 物 理 、 虚 拟 和 云 计算 环境 大 规模 执行 基于 机 器 学 习 的 智能 分 组 、 高 性 能 搜索 与 更 出 色 
的 故障 排除 ， 从 而 为 YMware 环 境 提 供 实 时 日 志 管 理 功 能 。 有 关 vRealize Log Insight 的 更 多 信息 ， 可 以 登录 VMware 官网 了 
解 。 


vmware Log Insight $] Dashboards Q interactive Analytics Å aimn- =- 


O Snapshot 元 Add to Dashboard 


Count of events ~ 4 , . Se = 小 Automatic > 


Latest 5 minutes of data v 


4+} Add Filter 2016-03-31 18:13:07.939 2016-03-31 18:18:11.761 


Events Field Table Event Types Event Trends 1 to 50 out of 48,147 events Mew rt: Newest First * Fields 


2016-03-31T10:18:08.1317 w2-pe-vsan-esx-@38 vsantraceUrgent: 6 (1380641) [cpu23] (6febcc@s CLIENT writewithSlkattrS VMDISK) J appname 
DOMTracef lowctlShowCongestionforRoleAndOpat:276!: ('op': @x439elc6d2c8@, ‘obj’: @x43a62@a64d0@, 'objUuid bae7f856-9bb@-5aa7~-8a61 -ecf4bbe945f0 ' (+) event type 
'lower layer congestion': 82, 'role congestion': 8, 'op congestion': 82, 'at': 'At Client Froa Owner ') (+) hostname 
source event type hostname appname (+) source 


2016-03-31T10:18:08.1271 w2-pe vSan-esx 038 vsantraceUrgent: 3 [1300640] [cpu22] [6fübcbde OWNER writeWithBlkAttr5 VMDISK] 
DOMT racef lowctls ShowCongest i onAt:257 ('op': 0x439e39f6b100, 'obj' 0x439e4580d340, "ob jUuid 'bae7f856-9bb6-5aa7-0a61!-ecf4bbe945fQ', ‘op congestion’ 
82, ‘at’ At Owner Max") 


source event type hostname appname 


2016-03-31T10:18:08.0795 w2-pe vsan-esx 038 vsantr aceUrgent: 1 1300639] [cpu22] L6f@bcbeb OWNER commitT ransaction) 
DOMT racef lowct1ShowCongesti conForR Rol leAndOpAt:8102: ('op': 8x439e3a8371 00, 'obj': 8x439e4b88d346 ， 'objUuid': “bae7f856-9bb8-5aa7-8a61~ecf 4bbe945f8 
‘lower layer congestion’: 82, ‘role congestion’: 0, ‘op congestion’: 82, 'at': ‘At Owner root') 


source event ype hostname appname 





图 6-24 vRealize Log Insight 的 交互 式 分 析 界 面 


vmware Log Insight Dashboards Q Interactive Analytics 


sf VMware - VSAN ~ Latest 48 hours of data T C Update 


Host State Information sj» Add Filter 
Diskgroup Failures 
Networking 


VSAN - Host enter master mode VSAN - Host exit master mode 


ll 56ce2d71-c17... 3 ll 56ce2d71-c17... 
Congestion 56cd3984-242... 56cd3984-242... 


1 E 4a25-7d8... B 4a25-7d8... 
Object Configurations n 56ce4a25-7d8 . 56ce4a25-7d8 
Decommissioning 


Configuration Failures 


VSAN - Host enter discovery mode 


3 lil 56ce2d71-c17... 
56cd3984-242... 
E 56ce4a25-74d8... 


VSAN - Host enter destroy mode 


15 E 56ce2d71-c17... 
56cd3984-242... 

E 56ce4a25-7d8... 

56ce2d6b-c5c7.. 





K6-25 vRealize Log Insight*j Virtual SAN 上 日 志 进 行 收 集 分 析 


6.8 ESXCLI 


每 个 ESXi 主 机 都 提供 一 个 直接 的 控制 台 ESXCLI， 用 来 执行 某 些 管理 工作 。 例 如 ， 启 动 或 关闭 系统 ; 设置 某 些 参 数 ， 观 察 运 
行 状态 。 所 以 ，ESXCLI 也 是 用 于 Virtual SAN 诊 断 和 排 错 的 一 个 非常 重要 的 工具 。ESXCLI 通 过 不 同 的 命名 空间 来 管理 ESXi 主 机 上 
的 各 个 服务 ， 包 括 Virtual SAN。 为 了 碍 看 ESXCLI 中 有 哪些 选项 可 以 用 来 对 Virtual SAN 进 行 诊断 和 排 错 ， 只 需要 在 ESXi shellEg 
简单 地 运行 以 下 命令 : 


i esxcli vsan 


其 将 列 出 所 有 与 Virtual SAN 相 关 的 命令 和 参数 。 对 于 子 类 命令 查询 ， 只 需要 在 需要 查询 的 命令 后 面 加 上 -help 或 者 -h 束 可 
以 得 到 详细 的 命令 。 
需要 注意 的 是 ，ESXCLI 只 能 和 某 一 个 ESXI 主 机 进行 通信 。 如 果 需 要 查看 整个 Virtual SAN 集 群 的 信息 ， 那 么 殊 需 要 利用 


Ruby vSphere Console (RVC) , 


通过 ESXCLI， 当 我 们 想得到 某 一 项 信息 时 ， 一 般 会 有 多 个 命令 可 以 得 到 相似 结果 。 在 本 书 中 ， 为 了 简便 ， 针 对 某 项 信息 只 
给 出 一 两 个 推荐 的 命令 。 有 关 ESXCLI 的 完整 命令 列表 可 以 在 官方 的 vSphere 文 档 中 心 获 得 ， 本 书 只 在 需要 的 时 候 用 到 一 些 与 
Virtual SAN 相 天 的 命令 。VMware 官 方 的 完整 vSphere 文 档 可 以 在 https://www.vmware.com/support/pubs/ 获 得 。 


69 ABs 


对 Virtual SAN 的 性 能 监控 和 排 错 是 将 Virtual SAN 功 能 最 大 化 的 基石 。 本 章 曾 述 了 常用 的 Virtual SAN 监 控 工 具 ， 使 用 
Virtual SAN 运 行 状 况 检 查 、Virtual SAN 性 能 服务 、RVC、Virtual SAN Observer 和 MPSD 进 行 健康 与 性 能 评测 ， 结 合 vRealize 
Log Insight 查 看 分 析 日 志 及 ESXCLI 进 行 诊断 和 排 错 。 


第 四 部 分 Virtual SANA RIX SHE 


第 7 章 ， 设 计 Virtual SANZ X 


第 8 章 Virtual SAN 排 错 


S78 ”设计 Virtual SAN 方 案 


本 章 主 要 介绍 如 何 设 计 和 部 署 VMware Virtual SAN。 通 过 创建 集群 ，Virtual SAN 简 化 了 软件 定义 数据 企业 的 存储 部 署 与 
ER, Virtual SAN 的 规划 设计 在 Virtual SAN 的 整个 生命 周期 中 具有 至 天 重要 的 意义 。 了 解 实 际 工 作 负 载 需 求 并 党 握 Virtual 
SAN 的 特性 与 功能 ， 管 理 员 可 以 更 好 地 定义 设计 过 程 并 设计 出 合适 的 方案 架构 。 本 章 主 要 介绍 在 规划 、 设 计 、 部 署 Virtual SAN 
集群 时 ， 需 要 考虑 的 各 种 因素 和 注意 事项 。 


7.1 硬件 羔 容 性 列表 HCL 设 计 要 求 

设计 Virtual SAN 架 构 时 请 务必 确保 所 有 采用 的 设备 都 出 现在 VMware 兼容 性 指南 中 。HCL 分 为 硬件 与 软件 两 部 分 ， 我 们 将 
分 别 进 行 介 绍 。 

1. 硬 件 


管理 员 可 以 通过 查阅 VMware 官 网 的 兼容 性 指南 获取 最 新 的 兼容 性 列表 ， 以 确保 存储 |/O 探 制 器 、 固 态 硬盘 、PCle 内 存 设备 
和 机 械 磁 盘 等 都 在 VMware 的 文 持 列 表 中 。VMware 兼 容 性 指南 详细 多 出 了 所 广 持 硬件 设备 经 过 完全 测试 的 固件 版 本 ， 如 果 管 理 
员 友 现 使 用 的 硬件 在 兼容 性 列表 中 却 无 法 正常 工作 ， 请 详细 查看 硬件 的 固件 版 本 ， 以 确保 固件 支持 。 如 图 7-1 所 示 。 


VMware 强烈 建议 用 户 在 评估 Virtual SAN 时 使 用 最 新 版 本 的 软件 。VMware 一 直 在 持续 修复 用 户 人 在 实际 使 用 中 收集 到 的 
Bug。 因 此 ， 通 过 使 用 最 新 版 本 的 软件 ， 可 以 避免 磺 到 一 些 已 知 问 题 。 


Se koa (c.o. compatibility or esx or 3.0) e Search 


Looking for a simplified search? Use the Guided Search Wizard 


What are you looking for - Compatibility Guides 
Need Help? Try out the Virtual SAN Ready Node Configurator. 


STEP 1: Refer to the "Virtual SAN Hardware Quick Reference Guide" for guidance on how to build a Virtual SAN Ready Node. 


STEP 2: To build a Virtual SAN Ready Node: 
Select your Virtual SAN Ready Node of choice based on following certified Ready Nodes. 


Ready Node Types: Ready Node Vendors: Ready Node Profile: 
All 


Ready Node Supported Releases: 


All 


ESXi 6.0 U2 Hewlett Packard Enterprise 
ESXi 6.0 U1 Hitachi 

ESXi 6.0 
ESXi 5.5 U3 | Ready Node Generation:O 
All 

Pre-Install Options:O Gent - 6G 


ESXi Pre-Installed | |Gen2-12G Rackmount 
ESXI Not Pre-Installed | 


Keyword: Posted Date Range: Raw Storage Capacity (TB): 


| All All 
Update and View Results 



































图 7-1 VMwate 兼 容 性 指南 
3. 查 询 HCL 兼 容 列表 


如 果 用 户 在 访问 VMware 官 网 的 兼容 性 指南 前 尚未 采购 实际 硬件 ， 并 且 想 了 解 不 同 配 置 下 Virtual SAN 工 作 的 性 能 基准 。 可 
以 单 击 图 7-1 中 的 “Virtual SAN Hardware Quick Reference Guide” 进行 参考 ， 里 面 列 出 了 全 闪存 的 3 种 推荐 配置 和 混合 架构 
的 4 种 推荐 配置 ， 具 体 如 表 7-1 和 表 7-2 所 示 。 


(1) Virtual SAN6.0 全 闪存 硬件 指导 


表 7-1 全 闪存 就 绪 节 点 (Ready Node) 简介 


AF-6 系列 AF-4 系列 


( 5 ) 


AF-8 系列 AF-6 系列 AF-4 系列 


12*1 TB SSD 8*1 TB SSD 4*] TB SSD 
容量 层 闪 存 持久 性 等 级 A 或 以 上 持久 性 等 级 A 或 以 上 持久 性 等 级 A 或 以 上 
性 能 等 级 C 或 以 上 性 能 等 级 C 或 以 上 性 能 等 级 C 或 以 上 
2*400 GB SSD 2*200 GB SSD 1*200 GB SSD 
缓存 层 闪存 持久 性 等 级 D 或 以 上 持久 性 等 级 C 或 以 上 持久 性 等 级 C 或 以 上 
性 能 等 级 下 或 以 上 性 能 等 级 D 或 以 上 性 能 等 级 C 或 以 上 


IO Tz dias *** 队列 深度 三 512 队列 深度 三 512 队列 深度 三 256 
网 卡 10 GbE 10 GbE 10 GbE 


(2) Virtual SAN6.0 混 合 架 构 硬 件 指导 





表 7-2 ”混合 架构 就 绪 节 点 (Ready Node) 简介 


READ Rd VM AX * 上 达 100 上 达 20 


容量 层 闪 存 12*1 TB SAS 8*] TB NL-SAS 4*] TB NL-SAS 2*1 TB NL-SAS 
a A 10K RPM 7.2K RPM 7.2K RPM 7.2K RPM 





2*400 GB SSD 2*200 GB SSD 1*200 GB SSD 1*200 GB SSD 

RITIENE 持久 性 等 级 D 或 以 上 | 持久 性 等 级 C 或 以 上 | 持久 性 等 级 C 或 以 上 | 持久 性 等 级 B 或 以 上 
性 能 等 级 EE 或 以 上 | 性 能 等 级 D 或 以 上 | 性 能 等 级 D 或 以 上 | 性 能 等 级 B 或 以 上 

IO Tz iil as *** 队列 深度 三 512 队列 深度 三 256 队列 深度 三 256 队列 深度 三 256 

网 卡 10 GbE 10 GbE 10 GbE 1 GbE 

JG AA : 


* 虚 拟 机 配置 基于 使 用 案例 。 


** 使 用 最 新 一 代 的 CPU 架 构 。 


tt 推荐 使 用 直通 模式 ; 额外 的 控制 器 可 能 要 求 依赖 控制 器 支持 的 最 大 驱动 数 。 


用 户 可 以 根据 自身 业务 的 实际 需要 选择 相应 的 配置 基准 。 在 对 不 同 架 构 、 不 同 配置 的 Virtual SAN 性 能 基准 有 了 一 定 了 解 
就 可 以 开始 着 手 建 立 自己 的 Virtual SAN 就 绪 节 点 了 。 目 前 VMware 提 供 了 两 种 建立 Virtual SAN 就 绪 节点 的 方法 。 


JJ 


方法 一 : Virtual SAN 就 绪 节点 配置 器 


VMware 最 新 推出 的 Virtual SAN Ready Node Configurator (Virtual SAN 就 绪 节 点 配置 器 ) 非常 方便 ， 用 户 可 以 直接 在 
网 页 上 选择 自己 所 需 的 配置 (http://vsanreadynode.vmware.com/RN/RN) 。 


1) 选择 Virtual SAN 版 本 和 架构 (全 闪存 或 竟 合 ) ， 如 AF-8， 如 图 7-2 所 示 。 


2) 确认 后 ， 即 可 选择 相应 的 OEM 供 应 商 ， 如 联想 ， 如 图 7-3 所 示 。 


Selecting a Virtual SAN Ready Node is simple. Choose the Virtual SAN version you want to deploy, pick a Ready Node profile based on your 
specific needs, select your preferred server vendor, and then pick one of the available models. 


© Select Virtual SAN Version 


= 


VSAN 6.2 
ESXI 6.0 U2 


© Select Profile 


ALL FLASH PLATFORM HYBRID PLATFORM LET US HELP 


4 4 LE B »" ~ E 
seen TIT TIT : `~ : `~ A a 
Ar-4 Series AF-6 Se 5 1Y-4 Series Y-6 Series Y-8 Series Profile Wizard 


es AF-8 Series HY-2 Serie: 


Raw Storage Capacity 12x1 TB SSD Endurance Class A or above CPU Cores € 2x12 core 
Performance Class C or above 


Cache Size 2x400 GB SSD Endurance Class D or above 
Performance Class F or above 


Maximum IOPs Up to 80K 





E7-2 Virtual SAN 就 绪 节 点 配置 器 


© Select OEM 


o 
FUJITSU Lenovo | | Surersicre 


Fujitsu Lenovo Supermicro 
Computer Inc 





图 7-3 ”选择 OEM 供 应 商 


3) 选择 型 号 ， 如 AF-8: Lenovo System x3650M5, MEJLA FEXBOEBJPDFSX EFI. AP RESERSIXBOEDEITIBUES, B 
可 以 满足 前 述 的 120 台 服务 器 虚拟 机 ， 提 供 8 万 IOPS (70%, 30965, 4K) , 。 如 图 7-4 所 示 。 


Virtual SAN Ready Nodes 


Configuration 


All Flash 
Lenovo 
AF-8: Lenovo System x3650 M5 


System x3650 M5 


System x3650 M5 


2x Intel Xeon Processor E5-2690 v3 12C 2.6GHz 30MB Cache 2133MHz 135W 


16x 32GB TruDDR4 Memory (4Rx4, 1.2V) PC4-17000 CL15 2133MHz LP LRDIMM 


4x 400GB SAS 2.5" MLC G3HS Enterprise SSD 


8x 4TB 6Gb SAS Enterprise Capacity G3HS MLC SSD 


2x ServeRAID M5210 SAS/SATA Controller 


Emulex VFA5 ML2 Dual Port 10GbE SFP+ Adapter 


SD Media Adapter for System x 


No 


ESXi 6.0 U2,ESXi 6.0 U1,ESXi 6.0 





图 7-4 Virtual SAN 就 绪 节 点 配置 
方法 二 : 自 建 Virtual SAN 就 绪 节点 


依旧 是 在 Virtual SAN 硬 件 兼 容 性 列表 页 面 ， 在 Ready Node Vendors 中 选择 OEM 厂 商 (如 DELL) ， 再 去 选择 Ready 
Node Profile 规 格 (如 All) 。 单 击 Update and View Results， 就 可 以 看 到 所 有 满足 配置 规格 要 求 的 DELL 服 务 器 了 。 如 图 7-5 所 


7Jvo 


Select your Virtual SAN Ready Node of choice based on following certified Ready Nodes. 


Node Vendors: 





Fujitsu 
ESXi 6.0 U2 Hewlett Packard Enterprise 
ESXi 6.0 U1 
ESXi 6.0 
ESXi 5.5 U3 


Pre-Install Options:O 
ESXI Pre-Installed 
ESXi Not Pre-installed 


Posted Date Range: Raw Storage Capacity (TB): 
All All 








图 7-5 Virtual SAN 硬 件 兼 容 性 列表 页 面 


用 户 可 以 根据 所 需 的 配置 规格 选择 展开 相应 的 具体 配置 进行 查看 。 结 合 “Virtual SAN Hardware Quick Reference 
Guide” 可 以 了 解 AF-6: DELL FX2FC430 这 一 具体 配置 支持 多 少 服务 器 虚拟 机 和 IOPS。 搜 索 结 果 如 图 7-6 所 示 。 


v Ready Node Models For Vendor: DELL 


CT KEEN 7077 


DELL HY-2: DELL R630 Ready Node Generation: Gen2 - 12G 
D Profile: HY-2 Series 
Raw Storage Capacity: 5 TB 





DELL HY-4: DELL R630 Ready Node Generation: Gen2 - 12G 
D Profile: HY-4 Series 
Raw Storage Capacity: 5 TB 


DELL HY-6: DELL 730xd Ready Node Generation: Gen2 - 12G 
+ Profile: HY-6 Series 
Raw Storage Capacity: 7.2 TB 


AF-6: DELL FX2 FC430 Ready Node Generation: Gen2 - 12G 
Profile: AF-6 Series 
Raw Storage Capacity: 9.6 TB 





SKU DellStar Solution ID:6214313. 1 

ESXi Pre-installed? No 

System FC430 Blade 4 

CPU Intel Xeon E5-2670 v3 2.3GHz,30M Cache,9.60GT/s QPI,Turbo,HT,12C/24T CPU 8 

Memory 256 GB RAM 4 

Caching Tier 400GB Solid State Drive SAS Mix Use MLC 12Gpbs 2.5in Hot-plug Drive (OR) 400GB 8 
Solid State Drive SAS Mix Use MLC 12Gbps 2.5in Hot-plug 

Capacity Tier 1.6TB Solid State Drive SAS Read Intensive MLC 12Gpbs 2.5in Hot-plug Drive (OR) 24 
1.6TB Solid State Drive SAS Mix Use MLC 12Gbps 2.5in Hot-plug 

Controller FD332-PERC (Dual ROC) 2 

NIC QLogic 57810 Dual Port 10Gb Direct Attach/SFP+ Low Profile Network Adapter. 4 


Boot Device 16GB SD Card For IDSDM 8 


Supported Releases ESXi 6.0 U2, ESXi 6.0 U1, ESXi 6.0 








图 7-6 ”搜索 结果 


除了 以 上 两 种 推荐 的 方式 外 ， 用 户 还 可 以 通过 DIY 的 方式 构建 Virtual SAN 节 点 。 单 击 页 面 上 的 “Build Your Own based 
on Certified Components” 即 可 打开 相应 页 面 。 采 用 DIY 方 式 配 置 时 ， 请 注意 存储 控制 器 (MO Controller) 、SSD、HDD 均 
在 Virtual SAN 的 硬件 兼容 性 列表 中 。 如 图 7-7 所 示 。 


VMware strongly recommends using certified Ready Nodes that are validated to provide predictable performance and scalability for your Virtual SAN deployment. 
If you would still like to build your own Virtual SAN with certified components, then click Build Your Own based on Certified Components. 


Looking for information on VMware product compatibility by version? See the Product Interoperability Matrix 


Looking for help with sizing your environment for Virtual SAN? Start with a Partner-led VSAN Assessment to validate Virtual SAN's benefits for your 
organization. Go to our VSAN Assessment Tool 


Looking for help with sizing your environment for Virtual SAN? Go to our Sizing and TCO calculator 


Looking for products verified and supported by partners? Partner Verified and Supported Products (IMPT metro-distance storage clustering solutions update) 





Interested in certifying a new Ready Node that is not listed here or do you have queries about the Virtual SAN certification process? Please email 
vsan-hcl@vmware.com 





Are you a VMware developer? Check out the Developer Center. 
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7.2. 网 络 设计 注意 事项 


在 规划 Virtual SAN 集 群 的 设备 时 ， 管 理 员 必须 考虑 以 下 Virtual SAN 网 络 活动 : 
1. 在 大 规模 或 全 闪存 环境 中 使 用 10Gbps 网 络 


里 然 Virtual SAN 可 以 工作 在 1Gbps 网 络 上 ， 但 是 在 大 规模 Virtual SAN 部 署 或 全 闪存 Virtual SAN 架 构 中 建议 使 用 10Gbps 
网 络 以 获取 更 好 的 性 能 。10Gbps 链 路 不 需要 专门 用 于 Virtual SAN 流 量 ， 其 可 以 与 其 他 类 型 网 络 流量 共享 。 如 果 在 多 个 类 型 流 
量 之 间 共 享 10Gbps NIC， 建 议 启 用 Network MO Control 进 行 流量 控制 ， 避 免 某 一 种 类 型 的 流量 占用 所 有 带宽 。 


2. 将 不 同类 型 流量 分 割 到 不 同 网 络 


建议 将 vSphere 的 管理 、Virtual SAN 流 量 和 IP 存 储 等 不 同类 型 流量 分 割 到 不 同 网 络 上 ， 并 通过 份额 设置 服务 质量 (QoS) 
机 制 以 确保 在 某 些 可 能 的 竞争 场景 下 的 性 能 。 


3. 启 用 IP 多 播 用 于 Virtual SAN 流 量 网 络 


Virtual SAN 要 求 在 网 络 上 局 用 IP 多 播 用 于 Virtual SAN 的 网 络 通 信 。 多 播 可 用 于 友 现 参与 集群 的 ESXi 主 机 以 及 跟 踊 集 群 中 的 
变化 。 由 于 多 播 性 能 至 关 重 要 ， 建 议 使 用 专业 的 企业 级 交换 机 。 如 果 想 用 低 端 交换 机 部 署 Virtual SAN， 必 须 检验 低 喘 交换 机 的 


多 播 性 能 是 否 满足 需 
4. 司 用 巨 帧 


在 大 规模 集群 部 署 中 ， 管 理 员 必 须 局 用 巨 帧 以 降低 CPU 负载 。 


7.3 ”集群 设计 注意 事项 


在 设计 Virtual SAN 集 群 时 ， 省 理 员 必 须 考虑 以 下 四 点 注意 事项 : 


集群 大 小 大 于 3 节点 配置 。 

- vSphere HA 的 部 署 。 

: 故障 域 的 可 用 性 。 

+ 维护 模式 的 可 用 性 。 

1. 混 合 染 构 与 全 闪存 架构 的 选择 


无 论 是 混合 染 构 还 是 全 闪存 架构 ，Virtual SAN 都 可 以 及 挥 出 色 的 性 能 。 在 设计 时 ， 如 果 设 计 人 员 评 佑 预测 实际 业务 的 工作 
集 非常 大 ， 以 致 Virtual SAN 的 缓存 层 无 法 覆 匡 ， 全 闪存 染 构 在 实际 性 能 表现 上 会 非 第 有 优势 。 相 反 ， 如 果实 际 业务 的 工作 集 足 
够 小 ，Virtual SAN 的 缓存 层 可 以 完全 窗 匡 ， 全 闪存 架构 与 混合 架构 的 性 能 区 别 会 很 小 。 


不 过 根据 我 们 的 实际 经 验 ， 采 用 全 闪存 架构 更 能 发 挥 Virtual SAN 的 价值 。 在 大 多 数 没 有 苛刻 SLA 的 场景 或 者 是 不 需要 极致 
性 能 的 场景 的 情况 下 ， 设 计 人 员 可 以 考虑 使 用 混合 染 构 以 降低 使 用 成 本 。 但 是 只 需要 增加 非常 少 的 预算 ， 用 户 就 可 以 切换 为 全 内 
存 架 构 ， 从 价格 性 能 比 的 角度 获得 更 好 的 解决 万 案 。 


此 外 ， 从 企业 运 维 的 角度 来 看 ， 若 要 获取 相同 的 性 能 ,及 用 全 闪存 架构 相 比 混合 染 构 可 以 使 用 更 少 的 物理 硬件 ， 更 少 的 物理 
硬件 为 必 蔬 约 运 维 成 本 ， 在 能 耗 、 制 冷 等 方面 也 会 有 更 低 的 开销 。 


2. 集 群 尺寸 大 于 或 等 于 3 节操 配置 


尽管 Virtual SAN 完 全 支持 3 书 点 配置 ， 但 是 3 节点 配置 相 比 4 证 点 或 更 多 节点 的 配置 只 能 提供 有 限 的 恢复 能 力 ， 例 如 在 3 节点 
配置 中 ， 集 群 无 法 在 维护 期 间 从 节点 中 迁 出 所 有 数据 并 且 集 群 只 能 容忍 单一 组 件 故 障 。 


在 3 节操 配置 中 ， 有 两 个 数据 副本 和 一 个 见证 组 件 ， 它 们 分 别 驻 留 在 不 同 的 主机 上 。 由 于 3 节 点 配置 只 能 容 妨 单一 组 件 故 
障 ， 因 此 如 果 改 障 友 生 ，Virtual SAN 融 无 法 重新 构建 组 件 ， 也 不 能 置 备 新 的 虚拟 机 来 容忍 故障 。 在 故障 友 生 后 ， 它 也 不 能 重新 
保护 虚拟 机 对 象 ， 直 到 故障 组 件 恢 复 为 止 。 


因此 在 设计 时 ， 建 议 考 虑 在 Virtual SAN 集 群 中 包 合 4 个 或 更 多 节操 。 
3.vSphere HA 的 部 署 


将 vSphere HA 与 Virtual SAN 结 合 使 用 ， 可 以 向 虚拟 机 提供 高 可 用 性 解决 方案 。Virtual SANG DRAG 
AY, vSphere HA 可 以 确保 数据 的 完整 访问 性 。 


管理 员 应 当 注 意 ，Virtual SAN 不 与 vSphere HA 进行 互 操作 ， 以 确保 集群 中 其 余 主 机 上 有 充足 的 可 用 磁盘 空间 。 但 是 ， 在 
主机 及 生 故障 一 段 时 间 后 (默认 60 分 钟 ) , Virtual SAN 将 尝试 使 用 集群 中 剩余 主机 和 存储 设备 上 的 所 有 剩余 空间 使 虚拟 机 符合 
仓储 宋 略 要 求 。 这 可 能 需要 创建 额外 的 副本 和 条 市 。 对 于 采用 vsSphere HA 的 Virtual SAN 设 计 ， 必 须 提 前 做 好 周密 的 规划 。 
为 Virtual SAN 集 群 中 各 及 生 多 次 故障 ， 可 能 会 由 于 资源 过 度 使 用 而 填 满 Virtual SAN 上 的 所 有 可 用 空间 。 


因此 在 设计 时 ， 建 议 在 Virtual SAN 上 局 用 HA， 以 实现 最 高 级 别 的 可 用 性 。 然 而 ， 任 何 设计 都 需要 包 合 额外 的 了 风 余 容量 ， 用 
于 重新 构建 组 件 。 


4. 故 障 域 的 可 用 性 


故障 域 可 以 提供 机 染 感 知 ， 将 同一 机 架 的 主机 划分 到 同一 个 故障 域 中 ， 可 以 进一步 拓展 Virtual SAN 的 高 可 用 特性 。 在 估算 
多 余 故 障 的 故障 域 数 量 时 ， 管 理 员 可 以 参考 与 主机 允许 的 最 大 故障 数 相同 的 计算 公式 。 在 此 我 们 给 出 以 下 参考 : 在 市 有 故障 域 的 


SEBELBBFTT (允许 的 故障 数 ) = n 的 虚拟 机 ， 需 要 2n + 1 个 故障 城 。 
因此 在 设计 规模 较 大 的 Virtual SAN 集 群 时 ， 建 议 考 虑 利用 故障 域 来 避免 单个 虚拟 机 的 所 有 副本 在 同一 个 机 架 上 的 故障 。 
5. 维 护 模式 的 可 用 性 


在 设计 Virtual SAN 集 群 时 ， 管 理 员 必须 考虑 为 满足 允许 的 故障 数 所 需 的 主机 数量 。 与 此 同时 ， 还 需要 考虑 当主 机 置 于 维护 
模式 时 ， 集 群 中 剩余 的 主机 是 否 有 足够 的 资源 处 理 主机 中 迁 出 的 所 有 数据 。 


在 设计 集群 时 ， 请 确保 其 在 主机 置 于 维护 模式 时 依旧 可 以 执行 以 下 任务 : 
` 执行 必要 的 数据 迁移 任务 。 
- 在 数据 迁移 时 提供 多 种 可 选 方案 。 
- 确保 可 以 提供 的 资源 与 原 有 故障 资源 相似 ， 以 确保 计 和 工资 源 在 迁移 后 能 得 到 保证 。 


因此 如 果 集 群 中 剩余 的 资源 无 法 提供 迁 出 全 部 数据 选项 ， 建 议 在 其 他 主机 上 重新 尝试 数据 迁移 操作 ， 或 者 在 集群 中 添加 更 多 
可 用 资源 后 再 次 尝试 。 


6. 延 伸 集 群 设计 注意 事项 
在 设计 延伸 集群 时 ， 除 了 标准 集群 的 注意 事项 外 ， 还 需要 考虑 以 下 几 个 准则 。 
(1) 延伸 集群 配置 DR9 设 置 
` 必须 在 集群 上 启用 DRS。 将 DRS 置 于 半自动 模式 后 ， 管 理 员 可 以 控制 要 迁移 到 各 个 站 点 的 虚拟 机 。 
- 创建 两 个 主机 组 ， 一 个 组 用 于 首选 站 点 ， 另 一 个 组 用 于 辅助 站 点 。 
- 创建 两 个 虚拟 机 组 ， 一 个 组 用 于 存放 首选 站 点 上 的 虚拟 机 ， 田 一 个 组 用 于 存放 辅助 站 点 上 的 虚拟 机 。 


- 创建 两 个 用 于 将 虚拟 机 映射 到 主机 组 的 虚拟 机 一 主机 关联 性 规则 ， 并 指定 哪些 虚拟 机 和 主机 了 驻 留 在 首选 站 点 中 ， 哪 些 虚 拟 
机 和 主机 了 驻 留 在 辅助 站 点 中 。 


- 配置 虚拟 机 一 主机 关联 性 规则 ， 以 在 集群 中 执行 虚拟 机 初始 放置 。 
(2) 延伸 集群 配置 HA 设置 

` 必须 在 集群 上 启用 HA。 

+ 在 故障 切换 期 间 ，HA 规 则 设置 应 遵守 虚拟 机 一 主机 关联 性 规则 。 

| 禁用 HA 数据 存储 检测 信号 。 

(3) 延伸 集群 需要 使 用 磁盘 格式 2.0 或 更 高 版 本 

` 如 果 有 必要 ， 在 配置 延伸 集群 前 需要 先 升 级 磁盘 格式 。 

(4) 将 延伸 集群 的 允许 故障 数 配置 为 1 (FTT = 1) 


+ 延伸 集群 只 支持 FIT 一 1， 不 支持 FIT 一 2 或 3 以 及 RAID5/6。 如 果 管 理 员 要 将 原 有 标准 Virtual SAN 集 群 更 改 为 延伸 集群 ， 需 
要 提前 修改 虚拟 机 存储 策略 。 


(5) Virtual SAN 延 伸 集 群 不 广 持 对 称 多 处 理 容 销 (SMP-FT) 


(6) 延伸 集群 不 支持 使 用 ESXCLI 添 加 或 移 除 主机 


74 仔 依 设计 注意 事项 


1. 磁 盘 组 设计 
磁盘 组 的 设计 在 整个 Virtual SAN 设 计 中 十 分 重要 ， 因 为 其 直接 影响 Virtual SAN 集 群 的 可 用 性 、 性 能 和 容量 。 


独立 的 磁盘 组 构成 单独 的 故障 域 。 如 果 磁 盘 组 中 的 组 存盘 出 现 故 障 了 ， 那 么 该 磁盘 组 下 所 有 的 容量 盘 都 将 变 得 不 可 用 。 受 故 
障 磁盘 组 提供 给 Virtual SAN 数 据 存 储 的 存储 容量 也 将 被 收回 。 通 过 使 用 多 个 磁盘 和 磁盘 组 ， 管 理 员 可 以 采取 以 下 措施 : 


分 发 组 件 到 更 多 的 设备 以 降低 存储 缺陷 的 风险 。 
+ 使 用 额外 的 缓存 设备 以 提供 更 高 的 IOPS。 
“ 拥有 更 高 的 缓存 与 容量 比率 以 提供 更 多 的 缓存 层 容 量 给 Vittual SAN 数 据 存储 。 
减 小 故障 域 。 
内 存 和 条 带 的 使 用 可 以 增强 Virtual SAN 集 群 的 存储 性 能 。 
Qua 每 台 主 机 可 以 拥有 最 多 5 个 磁盘 组 ， 每 个 磁盘 组 可 以 包含 一 块 缓存 盘 和 最 多 7 块 容 量 盘 。 
2. 磁 盘 组 架构 : 缓存 层 设备 选 型 
无 论 是 混合 架构 还 是 全 闪存 架构 ， 当 进行 缓存 层 设备 选 型 时 ， 管 理 员 需要 考虑 以 下 两 点 建议 : 
- 缓存 层 的 存储 容量 应 该 占 到 整个 Vittual SAN 数 据 存储 容量 的 10%。 
` 缓存 设备 从 桂 久 性 要 求 的 角度 来 说 需要 能 够 支持 5~10 年 的 生命 周期 中 提供 每 天 至 少 2TIB 的 写 入 。 


在 Virtual SAN6 中 ， 持 久 性 等 级 规格 已 从 每 日 完整 驱动 器 写 入 次 数 (DWPD) 更 新 为 驱动 器 保修 期 内 写 入 的 TB 量 
(TBW) 。 从 长 期 来 看 ,支持 高 "BW 的 小 容量 SSD 也 许 等 同 于 低 TBW 的 大 容量 SSD。 但 是 在 设备 拥有 相同 TB 量 的 前 提 下 ， 更 高 
容量 的 设备 拥有 更 好 的 耐久 度 。 而 更 多 的 绥 存 设备 和 磁盘 组 可 以 在 Virtual SAN 横 向 、 纵 向 扩展 以 及 设备 蔡 换 时 更 加 简单 。 因 此 
企业 在 缓 仓 层 设备 选 型 时 ， 需 要 在 采 购 大 量 小 容量 99D 与 采购 少量 大 容量 99D 之 间 做 出 权衡 。 


当然 ， 在 容量 层 上 使 用 的 闪存 设备 的 持久 性 也 可 以 此 为 参考 。 但 是 ， 容 量 层 的 SSD 不 需要 与 缓存 层 的 SSD 具 备 相同 级 别 的 持 
入 性 。 


表 7-3 列 出 了 SSD 的 持久 性 级 别 和 写 入 TB 量 。 


表 7-3 ”SSD 的 持久 性 级 别 和 写 入 TB 量 


SSD 持久 性 级 别 SSD 所 处 层 5 年 写 入 TB 量 
个 [大 "i E 


B 混合 一 缓存 1825 
C 全 闪存 一 缓存 (中 等 工作 负载 ) 3650 


D 全 闪存 一 绥 存 (高 工作 负载 ) 7300 





如 果 产 品 在 其 规格 中 适用 DWPD， 可 以 通过 以 下 公式 进行 转换 ， 算 出 写 入 TB 量 : 
TBW (5 年 ) 一 驱动 器 大 小 DWPD 
除了 SSD 的 持久 性 级 别 ， 性 能 级 别 也 是 不 可 忽视 的 ， 表 7-4 列 出 了 SSD 的 性 能 级 别 和 与 之 对 应 的 写 入 标准 。 


表 7-4 ”SSD 的 性 能 级 别 和 与 之 对 应 的 写 入 标准 


SSD 性 能 级 别 & $5 X (IOPS) 
B 5000~ 10 000 
C 10 000 —20 000 
D 20 000 —30 000 
E 30 000— 100 000 
F 100 000+ 


AUC GE ERR ERECTAE, iSEXVMwaredkzrlERRES, BANGS SFB LfiVirtual SAN 设 计 要 求 的 
性 能 与 持久 性 特性 。 


3. 磁 盘 组 以 构 : 容量 层 设备 选 型 


当 进 行 容量 层 设 备 选 型 时 ， 管 理 员 需 要 意识 到 容量 服务 主要 作为 读 取 层 。 因 此 ， 规 划 容 量 首 要 考虑 的 是 仓储 容量 每 GB 的 成 


无 论 是 在 混合 架构 还 是 全 闪存 架构 中 ， 容 量 层 在 设计 时 都 应 该 以 Virtual SAN 数 据 仔 储 设 计 的 总 容量 规划 ， 而 不 是 预 估 的 使 


在 混合 染 构 中 ， 使 用 机 械 磁盘 作为 容量 可 以 提供 成 本 经 济 的 存储 。 当 使 用 闪存 作为 容量 时 ,设备 的 选 型 应 基于 每 GB 的 存储 
成 本 。 

4. 全 闪存 架构 的 存储 容量 优化 调整 

混合 架构 中 的 存储 容量 优化 调整 的 所 有 注意 事项 同样 适用 于 全 闪存 Virtual SAN 架 构 。 采 用 全 闪 人 配置 时 ， 读 取 请 求 不 再 由 


缓存 层 响 应 ， 而 是 由 容量 层 响 应 。 通 过 移 除 全 闪存 配置 中 的 读 取 缓存 ， 缓 存 层 上 的 I|OPS 大 大 减少 ,持久 性 显 闭 增强 。 这 意味 着 
持久 性 和 性 能 成 为 全 闪存 配 置 中 容量 层 的 注意 事项 。 


然而 ， 在 全 闪存 配置 中 ， 使 用 高 持久 性 闪存 缓存 设备 也 可 以 延长 内 存 容量 层 的 寿命 。 如 果 虚 拟 机 运行 应 用 的 工作 集 可 以 完全 
存储 在 缓存 层 ， 容 量 层 上 的 写 入 操作 次 数 将 减少 。 因 此 对 于 全 闪存 配置 ， 为 缓存 层 选 择 设备 时 ， 请 确保 闪存 持 久 性 在 考虑 泡 畴 
中 。 


5. 缓 仔 容 量 的 优化 调整 


Virtual SAN 缓 存 容量 优化 调整 的 一 般 性 建议 是 缓存 容量 为 预计 占用 存储 容量 的 10%， 然 后 再 考虑 允许 的 故障 数 。 例 如 ， 用 
户 计划 置 备 1000 个 虚拟 机 ， 每 个 虚拟 机 有 100GB 精 简 置 备 的 空间 。 然 而 ， 预 计 在 一 段 时 间 内 ， 每 台 虚 拟 机 占用 的 存储 容量 平均 
7320GB ( 表 7-5) 。 


表 7-5 虚拟 机 存储 用 量 计 算 


计量 要 求 值 
预计 每 台 虚 机 占用 空间 20 GB 
预计 虚拟 机 数量 1000 
预计 占用 总 量 20 GB X 1000=20 000 GB=20 TB 
目标 缓存 容量 比率 10% 
所 需 的 总 缓存 容量 20 TBX 10%=2 TB 


因此 ,， 在 FTT = Ott Gaia A20TB, SREHBRFTTZJ1, BBAIRFBAERBSUESEpRAOTB, MARES. AUX 
情况 下 ， 缓 存 依旧 可 优化 调整 为 10%x20TB， 即 置 备 虚 拟 机 所 在 集群 的 总 缓 他 容量 为 2TB。 


目标 缓 仓 容 量 比率 的 最 佳 值 需要 根据 实际 工作 负载 算出 ， 如 磁盘 上 数据 的 工作 集 大 小 。10% 是 大 多 数 情 况 下 用 作 进 一 步 优化 
的 初始 基础 。VMware 建 议 缓存 大 小 至 少 占 虚拟 机 存储 (VMDK) 容量 的 10%， 因 为 对 于 大 多 数 庶 拟 化 应 用 程序 ， 任 何 时 候 都 
是 读 取 或 写 入 大 约 10% 的 数据 ， 目 的 是 尽 可 能 将 数据 (活动 实时 数据 集 ) 保存 在 缓存 中 ， 以 实现 最 佳 性 能 。 


闪存 读 取 缓 存 预 留 (Flash Read Cache Reservation) 策略 设置 仅 适 用 于 混合 架构 。 全 闪存 阵列 没有 读 取 缓存 。 读 取 操 作 
直接 从 闪存 容量 层 读 取 数 据 ， 除 非 数 据 块 已 经 写 入 绥 存 中 。 


因此 在 设计 时 需要 考虑 未 来 增长 需求 ， 购 买 足 够 大 的 内 存 设备 ， 人 允许 容量 层 随 着 时 间 的 推移 进行 扩展 。 
6. 容 量规 划 设 计 注 意 事项 
影响 集群 资源 、 集 群 中 每 台 主 机 的 数量 和 组 件 的 因素 主要 有 以 下 几 方 面 : 


可 用 性 要 求 : Virtual SAN 上 托管 虚拟 机 的 可 用 性 要 求 会 影响 Vittual SAN 集 群 的 容量 。 如 果 大 部 分 虚拟 机 要 求 FIT>1 或 空 


间 预 留 ， 那 么 就 会 影响 集群 中 的 主机 数量 和 需要 挂 载 的 容量 。 


SAR “FRM” : 虚拟 机 基础 架构 中 不 充足 的 资源 或 增长 会 引起 资源 “瓶颈 ”。 因 此 ， 管 理 员 在 设计 Virtual SANZEZE 


时 ， 必 须知 道 潜在 的 “瓶颈 ”。 需 要 注意 的 是 ， 使 用 条 带 的 虚拟 机 相 比 正常 虚拟 机 会 横 跨 多 块 磁盘 使 用 更 多 磁盘 1/O 〇 。 


. 安全 与 工作 负载 隅 离 要 求 : 安全 与 工作 负载 隔离 要 求 也 会 影响 Virttual SAN 数 据 存 储 的 容量 。 因 此 ， 管 理 员 规划 Virtual SAN 
基础 架构 来 安置 虚拟 环境 的 安全 与 工作 负载 隔离 要 求 。 


. 预期 未 来 增长 : 虚拟 机 基础 架构 的 增长 也 需要 考虑 。 如 果 预 期 到 虚拟 机 会 快速 增加 ， 管 理 员 必须 在 设计 时 考虑 到 支持 增 


7. 建 立 容量 需求 基准 


为 Virtual SAN 集 群 建立 容量 需求 基准 依赖 于 虚拟 机 容量 预 估 和 主机 规模 限制 。 管 理 员 在 规划 Virtual SAN 集 群 容量 时 ， 需 要 
Shel RLS 


> 加 入 集群 的 虚拟 机 数量 。 


- 虚拟 机 的 平均 规模 : 虚拟 机 的 平均 vCPU 数 、 内 存 消 耗 、 虚 拟 磁 盘 大 小 和 利用 率 。 
管理 员 可 以 使 用 以 下 公式 为 集群 的 CPU、 内 存 和 人 存储 建立 容量 需求 基准 。 
- 集群 CPU 基准 公式 : 


虚拟 机 数 X 每 全 虚拟 机 的 平均 vCPU X 
每 颗 物 理 处 理 器 对 应 的 vCPU 3 


: 集群 内 存 基准 公式 : 虚拟 机 数 每 台 虚 拟 机 的 平均 内 存 。 
| 集群 存储 基准 公式 (不 考虑 过 载 ) : 虚拟 机 数 [VMDK 精 简 配 置 大 小 十 〈 每 台 虚 拟 机 的 平均 内 存 2) ] 
` 集群 最 少 主机 数 公 式 : 


虚拟 机 数 
每 台 主 机 的 最 大 虚拟 机 闻 


7.5 ”主机 设计 注意 事项 


1. 主 机 CPU 设计 注意 事项 
在 设计 Virtual SAN 集 群 时 ， 集 群 中 主机 的 CPU 设计 需要 考虑 以 下 几 个 事项 : 
| 每 台 主 机 期 望 的 播 构 数 。 
: 每 个 插 楼 期 望 的 内 核 数 。 
- 期 望 的 虚拟 机 数量 以 及 期 望 多 少 vCPU。 
- 期 望 的 vCPU 与 物理 CPU 内 核 比 率 。 
- 确保 在 Vittual SAN 占 用 10%CPU 资 源 后 的 可 用 性 。 


集群 在 启用 Virtual SAN 后 ， 会 在 每 台 主 机 上 占用 不 超过 10% 的 CPU 资源 。 管 理 员 必 须 在 部 署 高 整合 比率 Virtual SAN 集 群 
和 CPU 崇 密 型 应 用 负载 时 考虑 这 一 因素 。 


2. 主 机 内 存 设计 注意 事项 


Virtual SAN 内 存 需 求 的 定义 基于 期 望 的 虚拟 机 内 存 和 VMware ESXi 管 理 的 磁盘 与 磁盘 组 数量 。 只 有 当 VMware vSphere 主 
机 配置 大 于 等 于 32GB 内 存 时 ， 才 可 以 支持 Virtual SAN 的 最 大 磁盘 和 磁盘 组 数 。 


VMware 推 荐 在 Virtual SAN 部 署 中 使 用 统一 配置 的 主机 。 虽 然 在 Virtual SAN 和 集群 中 主机 可 以 只 支持 计算 ， 消耗 其 他 主机 的 
存储 资源 ， 但 是 VMware 建 议 避 免 这 种 不 平衡 的 Virtual SAN 配 置 。 


3. 主 机 存储 设计 注意 事项 


党 理 员 可 以 使 用 支持 VMware vSphere ESXIGBSENISBSSS ase Fei es LA iE Virtual SAN 集 群 的 存储 要 求 。vSphere 
ESXi6 支 持 通 过 USB、SD 或 SATADOM 设 备 驱 动 。 当 SATADOM 设 备用 于 驱动 ESXi 时 ，ESXi 的 日 志 安 置 在 内 存 中 ， 无 法 支持 永久 
性 存储 。 


当 在 Virtual SAN 中 使 用 vSphere ESXi6 叉 持 的 设备 作为 驱动 设备 时 ， 管 理 员 必须 考虑 以 下 两 个 仓储 注意 事项 : 
- 通过 使 用 esxcli vsan trace Set 命令 重 定 向 日 志和 Vittual SAN 记 录 到 永久 性 数据 存储 中 。 


- Virtual SAN 数 据 存储 中 不 存储 日 志和 和 记录， 因为 如 果 Virtual SAN 数 据 存 储 出 现 问题 ， 存 储 在 其 上 的 日 志 将 变 得 不 可 访问 。 


这 一 问题 将 影响 后 期 排 错 。 
(1) 磁盘 
Virtual SAN 支 持 以 下 三 种 类 型 的 磁盘 ， 每 种 类 型 的 磁盘 都 有 其 自身 的 优 缺 点: 


SATA: 在 混合 架构 的 Virtual SAN 配 置 中 ，SATA 磁 盘 可 以 提供 比 SAS 硬 盘 更 大 的 容量 。SATA 磁 盘 价 格 便宜 ， 但 提供 的 性 
能 不 如 SAS。SATA 磁 盘 的 转速 通常 在 7200 转 或 更 低 。 


- SAS: SAS 磁 盘 相 比 SAATA 磁 盘 ， 可 以 提供 更 可 靠 的 稳定 性 与 更 强 的 性 能 ， 但 是 价格 相对 较 贵 。SAS 磁 盘 转 速 可 以 达 15000 
BE 


- NL-SAS: NIL-SAS 磁 盘 是 企业 级 的 SATA 磁 盘 ， 但 是 使 用 SAS 接 口 。 


建议 最 好 使 用 SAS 和 NL-SAS 磁 盘 。 因 为 NL-SAS 相 比 SATA 磁 盘 可 以 提供 更 深 的 HDD 控 制 器 队列 深度 。 在 VMware 兼 容 性 指 
Bg (图 7-8) 中 可 以 查 到 文 持 硬盘 的 具体 参数 ， 管 理 员 可 以 在 设计 配置 混合 以 构 的 Virtual SAN 时 根据 所 需 的 容量 层 性 能 级 别 选 
择 相应 的 磁盘 。 


det IBM 500GB 7.2K 6Gbps NL SAS 2 5" SFF Partner Name IBM 
G2HS HDO 


yoe SAS Vendor id Seagate 
9078954 Form Factor 25° 
eed 6 Gbps > 500 GB 
RPM: 7200 Format 512-byte Sector 
Jersion. NA Senes N/A 


Notes tis strongly recommended that you use VSAN Ready Nodes. However, if you choose to Build Your Own VSAN solution then you must 
confirm that your components including drives are supported by the OEM server manufacturer 





图 7-8 VMwate 兼 容 性 指南 


(2) 存储 控制 器 


Virtual SAN 支 持 每 台 主 机 上 拥有 多 个 存储 控制 器 。 大 多 数 存 储 控制 器 支持 16 个 端口 ， 这 意味 着 一 块 存储 控制 器 上 可 以 插 16 
块 磁盘 。 和 存储 控制 器 上 庙 口 的 数量 决定 了 主机 可 以 支持 的 最 大 磁盘 数量 。 通 过 使 用 多 个 控制 器 ， 可 以 获得 更 好 的 性 能 ， 并 且 可 以 
在 控制 器 故障 时 在 磁盘 组 上 隔离 受 牵 连 的 磁盘 。 如 果 主 机 上 只 配置 了 一 块 存储 控制 器 ， 那 么 所 有 的 磁盘 和 磁盘 组 都 会 挂 载 在 这 块 
存储 控制 器 上 。 一 旦 存储 控制 器 出 现 故 障 ， 这 人 台 主 机 上 所 有 的 磁盘 组 都 会 变 得 不 可 用 。 


因此 ， 在 设计 时 建议 在 每 台 主 机 上 使 用 多 块 存储 控制 器 以 减 小 故障 域 ， 同 时 也 能 提高 Virtual SAN 整 体 性 能 。 


Virtual SAN 同 时 支持 存储 控制 器 上 的 直通 模式 和 RAIDO 模 式 。 当 使 用 RAI1DO 模 式 时 ， 集 群 的 性 能 变 得 更 加 依赖 控制 器 。 更 


深 的 存储 控制 器 队列 深度 可 以 增强 集群 的 性 能 。 因 此 ， 我 们 建议 尽 可 能 选择 队列 深度 大 的 存储 控制 器 。 
(3) 直通 模式 与 RAID0 枢 式 
在 直通 模式 下 ， 和 存储 控制 器 可 以 将 磁盘 和 直接 呈现 给 ESXi 主 机 。 


在 RAID0 模 式 下 ， 所 有 的 磁盘 都 必须 配置 成 RAID0 卷 ，ESXi 主 机 才能 看 到 。 因 此 ， 当 使 用 RAID0 模 式 时 ， 管 理 员 必须 将 所 有 
的 内 存 设 备 和 人 磁盘 设备 配置 为 RAID0 模 式 。 此 外 ， 管 理 员 可 能 不 得 不 灯 取 额外 的 手动 步 又 来 更 换 故 障 的 驱动 器 。 这 些 步骤 包括 重 
建新 的 RAID0 卷 ， 而 不 能 简单 地 将 蔡 换 用 的 空 盘 插入 主机 后 ， 直 接 通 过 Virtual SAN 进 行 声 明 。 


因此 ， 从 易 用 性 角度 来 讲 ， 建 议 使 用 直通 模式 。 


7.6 仓储 案 略 设计 方案 


管理 员 必 须 了 解 这 些 存储 功能 如 何 影响 Virtual SAN 中 的 存储 容量 占用 。Virtual SAN 中 有 8 个 虚拟 机 存储 策略 要 求 。 
1. 允 许 的 故障 数 (FTT) 


允许 的 故障 数 策 略 设 置 是 一 个 可 应 用 于 所 有 虚拟 机 或 各 个 VMDK 的 可 用 性 功能 。 在 管理 员 为 Virtual SAN 计 划 和 调整 仓储 容 
量 大 小 时 ,该 策略 友 挥 着 重要 作用 。 根 据 虚 拟 机 的 可 用 性 要 求 ， 在 虚拟 机 存储 策略 中 定义 的 设置 会 导致 占用 4 售 的 虚拟 机 容量 
(FTT=3) 。 


允许 故障 数 优化 调整 注意 事项 : 


如 果 FTT 为 1， 则 在 集群 上 为 虚拟 机 或 各 个 VMDK 创 建 两 个 副本 镜像 拷贝 。 如 果 设 为 2， 则 创建 3 个 镜像 拷贝 。 如 果 设 为 3， 则 
创建 4 个 镜像 拷贝 。 


2. 每 个 对 象 的 磁盘 条 市 数 


每 个 对 象 的 磁盘 条 市 数 通 常 称 为 条 带宽 度 (SW) ， 它 是 定义 每 个 存储 对 象 副 本 分 布 到 容量 设备 最 小 数量 的 设置 。 实 际 
.E, Virtual SAN 可 能 会 主动 创建 多 于 策略 中 指定 数量 的 条 带 。 


如 果 某 些 虚 拟 机 是 |/O 密 集 型 的 ， 而 其 他 虚拟 机 不 是 ， 则 条 市 化 有 助 于 提高 性 能 。 通 过 条 市 化 ， 虚 拟 机 数据 可 以 分 布 到 更 多 
驱动 器 上 ， 它 们 全 都 有 利于 提高 虚拟 机 的 思 体 存储 性 能 。 在 混合 配置 下 ， 条 市 化 会 跨 磁盘 进行 。 在 全 闪存 配置 下 ， 条 市 化 会 跨 构 
成 容量 层 的 闪存 设备 进行 。 


在 大 多 数 情 况 下 ，VMware 建 议 将 条 市 化 保留 为 默认 什 1， 除 非 友 现 了 可 通过 条 市 化 缓解 的 性 能 问题 。 条 市 锅 度 默认 值 为 
1， 最 大 值 为 12。 


条 带宽 度 主要 有 两 个 优化 调整 注意 事项 : 
. 各 个 主机 和 集群 上 是 否 有 充足 的 物理 设备 来 容纳 请 求 的 条 带宽 度 。 
: 为 条 带宽 度 选 择 的 值 是 否 要 求 使 用 大 量 的 组 件 并 占用 主机 组 件数 。 


在 任何 Virtual SAN 设 计 中 都 应 该 考虑 以 上 两 个 注意 事项 ， 尽 管 在 Virtual SAN6 中 最 大 组 件数 已 经 增加 并 且 采 用 了 磁盘 格式 
V2, 


3. 强 制 置 备 


强制 置 备 策 略 允 许 Virtual SAN 在 虚拟 机 初始 部 署 期 间 违 反 人 允许 的 故障 数 、 条 市 完 度 和 闪存 读 取 缓存 预 留 (FRCR) 策略 设 


四 


在 启用 强制 置 备 后 ，Virtual SAN 将 尝试 找到 符合 所 有 策略 设置 要 求 的 位 置 。 如 果 找 不 到 ， 它 将 尝试 找 一 个 更 加 简单 的 位 
置 ， 即 将 要 求 降低 到 FTT=0、SW = 1、FRCR = 0。 


此 外 还 有 一 个 注意 事项 。 如 果 管 理 员 没有 充分 了 解 强制 置 备 的 行为 ， 强 制 置 备 会 造成 容量 问题 。 如 果 强 制 置 备 了 若干 虚拟 
机 ， 但 由 于 缺乏 资源 ， 目 前 只 有 一 个 对 象 副本 拷贝 实现 了 实例 化 。 那 么 随 看 添加 新 主机 或 新 磁盘 ， 使 得 这 些 仓 储 资 源 变 得 可 用 
Ja, Virtual SAN 将 立即 代表 虚拟 机 占用 它们 。 


因此 ， 建 议 在 添加 新 资源 之 前 ， 核 实 是 否 有 庶 拟 机 因 缺 乏 资 源 而 不 符合 要 求 。 这 将 解释 为 什么 新 资源 会 立即 被 Virtual SAN 
占用 。 此 外 ， 执 行 完整 数据 迁移 之 前 ， 请 核实 是 否 有 由 于 强制 置 备 而 不 符合 要 求 的 虚拟 机 。 


4. 对 和 象 空间 预 留 


在 默认 情况 下 ， 部 署 在 Virtual SAN 上 的 虚拟 机 仓储 对 象 采用 精简 置 备 。 对 和 象 空间 预 留 (OSR) 功能 指定 置 备 虚 拟 机 时 应 当 
WS ( 厚 置 备 ) 的 存储 对 象 逻 辑 大 小 的 百分比 。 人 存储 对 象 的 剩余 部 分 将 保持 精简 置 备 。 默 认 值 为 0%， 这 意味 背 对 象 采用 精简 置 
备 。 最 大 值 为 100%， 这 意味 着 对 象 空间 全 部 预 留 ， 可 视 为 完全 采用 厚 置 备 。 


因此 ， 尽 管 计 算 Virtual SAN 数 据 存储 容量 时 要 考虑 副本 创建 情况 。 但 在 Virtual SAN 上 置 备 虚 拟 机 时 ， 精 简 置 备 过 度 使 用 应 
计 入 优化 调整 计算 中 。 


5. AFREIRA 


我 们 在 前 面 提 到 了 确定 内 存 缓存 大 小 时 应 遵循 10% 的 规划。 内 存 缓存 在 混合 配置 中 用 作 读 取 缓 存 和 写 入 缓冲 区 ， 在 全 闪存 本 
置 中 仪 用 作 写 入 组 ;中 区 ， 并 会 在 所 有 虚拟 机 之 间 均 匀 分 布 。 然 而 ， 通 过 使 用 虚拟 机 存储 策略 设置 内 存 读 取 绥 存 预 留 ， 可 以 将 部 分 
读 取 缓存 专 | ] 用 于 一 个 或 多 个 虚拟 机 。 


ik: 此 策略 设置 仅 适用 于 混合 配置 。 由 于 缓存 机 制 的 变更 且 全 闪存 配置 中 没有 读 取 缓 存 ， 它 不支 持 或 不 适用 于 全 闪存 配置 。 


对 于 混合 配置 ， 此 设置 定义 应 当 为 存储 对 象 预 留 多 少 读 取 内 存 容量 。 它 被 措 定 为 虚拟 机 磁盘 对 象 逻 辑 大 小 的 百分比 。 它 只 应 
用 于 专门 解决 已 友 现 的 读 取 性 能 问题 。 其 他 虚拟 机 对 象 不 使 用 此 预 留 的 内 存 缓存 容量 。 


未 预 留 的 闪存 在 所 有 对 象 之 间 平 等 共享 。 因 此 ，VMware 建 议 不 要 更 改 内 存 预 留 ， 除 非 友 现 了 具体 的 性 能 问题 。 默 认 值 为 
0%， 这 意味 着 对 象 没有 闪存 预 留 读 取 缓存 ， 而 是 与 其 他 虚拟 机 共享 读 取 缓存。 最 大 值 为 100%， 这 总 味 着 预 留 的 读 取 缓存 数量 与 
存储 对 象 (VMDK) 大 小 相等 。 


闪存 读 取 缓存 预 留 优化 调整 注意 事项 : 


在 虚拟 机 存储 集 略 中 设置 读 取 缓 仔 预 留 要 求 时 必须 十 分 谨慎 。 在 用 户 看 来 很 小 的 值 却 很 容易 会 耗 尽 所 有 缓 仔 层 资 源 ， 万 其 是 
采用 精简 置 备 时 。 错 误 配 置 或 错误 计算 会 很 容易 癌 一 些 虚 拟 机 过 度 分 配 读 取 缓存 ， 而 使 其 他 虚拟 机 得 不 到 足够 的 读 取 缓存 。 


6 去 重 与 压缩 设计 注意 事项 
当 需 要 在 Virtual SAN 集 群 中 配置 去 重 与 压缩 功能 时 ， 请 考虑 以 下 几 点 注意 事项 


. 去 重 与 压缩 功能 只 在 全 闪存 磁盘 组 中 可 用 。 


. 磁盘 格式 为 3.0 或 以 上 以 支持 去 重 与 压缩 功能 。 
集群 必须 拥有 可 用 的 许可 证 以 启用 去 重 与 压缩 功能 。 


“ 只 有 在 存储 声明 模式 为 手动 模式 时 才能 启用 去 重 与 压缩 功能 ， 但 管理 员 可 以 在 启用 去 重 与 压缩 功能 后 将 存储 声明 模式 改 回 
目 动 模式 。 


- Virtual SAN 只 是 在 每 个 磁 一 组 内 删除 了 重复 数据 ， 磁 盘 组 之 间 依 旧 保 留 数 据 宛 余 。 
:100% 对 象 空间 预 留 的 虚拟 机 存储 策略 会 影响 去 重 与 压缩 功能 的 效率 。 
+ 避免 以 增 量 方式 向 磁盘 组 中 添加 磁盘 。 为 了 有 效 地 去 重 和 压缩 ， 可 以 考虑 添加 新 的 磁盘 组 以 增加 集群 存储 容量 。 
手动 添加 新 磁盘 组 时 ， 同 时 添加 所 有 的 容量 磁盘 。 
` 管理 员 无 法 从 磁盘 组 中 移 除 单个 磁盘 ， 必 须 移 除 整 个 磁盘 组 才能 进行 更 改 。 
` 单个 磁盘 故障 会 造成 整个 磁盘 组 故障 。 
7.RAID5/6 纠 删 码 设 计 注 意 事 项 
当 需 要 在 Virtual SAN 集 群 中 配置 RAID5/6 纠 删 码 时 ， 请 考虑 以 下 几 点 注意 事项 : 
: RAID5/6 纠 删 码 只 在 全 闪存 磁盘 组 中 可 用 。 
` 磁盘 格式 为 3.0 或 以 上 以 支持 RAID5/6 纠 删 码 。 
` 集群 必须 拥有 可 用 的 许可 证 以 启用 RAID5/6 纠 删 码 。 
- 在 延伸 集群 中 不 支持 RAID5/6 纠 删 码 。 
8. 对 象 级 别 的 |OPS 限 制 


定义 虚拟 磁盘 的 IOPS 限 制 。 在 缺 省 情况 下 ， 一 个 IO 权重 为 32KB， 也 就 是 说 一 个 64KB 的 1O 会 被 认为 是 2 个 IO。 超 出 该 设 定数 
值 的 IO 会 极限 沅 。 如 果 设 定 为 0， 则 不 进行 IO 限制。 


7.7 本 童 小 结 
在 部 署 Virtual SAN 之 前 首先 对 系统 和 应 用 进行 设计 与 规划 是 满足 业务 需求 的 关键 。 本 章 首 先 从 存储 硬件 、 网 络 配 置 等 方面 
介绍 了 Virtual SAN 对 于 硬件 的 需求 ， 并 摘 述 了 其 选 型 与 设计 原则 。 之 后 ， 针 对 用 户 应 用 类 型 与 特征 ， 摘 述 了 与 主机 设置 和 参数 


设 定 等 相关 的 注意 事项 。 基 于 策略 的 管理 是 Virtual SAN 的 核心 ， 本 章 也 介绍 了 在 设计 Virtual SAN 过 程 中 与 基于 策略 管理 相关 的 
考虑 因素 。 总 之 ， 针 对 应 用 业务 需求 对 Virtual SAN 进 行 从 底层 硬件 到 上 层 应 用 的 设计 和 规划 是 成 功 使 用 Virtual SAN 的 关键 。 
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通过 之 前 的 介绍 ， 相 信 读 者 已 经 了 解 了 如 何 利用 相关 工具 对 Virtual SAN 进 行 监控 。 本 章 将 会 详细 介绍 RVC 的 使 用 方式 ， 使 
读者 阅读 本 章 后 能 自信 地 对 Virtual SAN 进 行 诊断 和 排 错 。 将 vSphere Web Client, Virtual SAN 运 行 状况 检查 插件 、Virtual 
SAN Observer、ESXCLI、RVC 等 相关 工具 集结 合 使 用 ， 可 以 获得 有 关 Virtual SAN 内 部 工作 状态 的 各 项 信息 。 本 章 将 重点 介绍 
如 何 使 用 这 些 工具 来 对 Virtual SAN 的 环境 进行 诊断 和 排 错 。 


8.1 Virtual SAN 网络 排 错 


8.1.1 检查 Virtual SAN 网 络 工作 状态 


当 Virtual SAN 网 络 配置 完成 后 ， 下 列 所 述 的 命令 将 会 检查 其 状态 。 通 过 使 用 这 些 ESXCLI 命 令 ，Virtual SAN 管 理 员 可 以 检 
坦 出 哪个 VMkernel 适 配器 被 Virtual SAN 所 使 用 ， 同 时 也 能 检查 出 它 包 含 哪些 参数 和 属性 。 


ESXCLI 或 RVC 命 令 不 仅 可 以 确认 Virtual SAN 网 络 确实 是 在 工作 ， 而 且 可 以 向 管理 员 显 示 Virtual SAN 网 络 是 否 存在 问题 ， 
并 且 帮 助 管理 员 了 解 如 何 对 这 些 问题 进行 排 错 。 


具体 来 说 ， 检 查 Virtual SAN 网 络 的 工作 状态 包含 以 下 三 个 方面 : 
- A dk Virtual SAN 所 使 用 的 vmknic 在 所 有 主机 上 的 配置 都 是 一 致 的 。 
. 检查 多 播 是 正常 工作 的 。 


`~ 


. 检查 集群 里 的 所 有 主机 互相 之 间 都 能 够 正常 通信 。 


| 


Qu 


1.esxcli vsan network list 


这 是 一 条 非常 有 用 的 命令 ， 它 可 以 告诉 用 尸 Virtual SAN 网 络 使 用 的 是 哪 一 个 VMkernel 适 配器 。 另 外 需要 注意 的 是 ， 即 使 
在 集群 层面 茶 用 了 Virtual SAN， 或 者 主机 已 经 离开 了 某 个 Virtual SAN 和 集群 ， 只 要 Virtual SAN 使 用 的 VMkernel 适 配器 没有 被 
删除 ， 这 个 命令 仍然 能 正常 工作 。 在 这 条 命令 的 输出 里 ， 还 有 其 他 一 些 有 用 的 信息 ， 如 多 播 的 Agent Group 地 址 和 多 播 的 
Master Group 地 址 。 


~ 4 esxcli vsan network list 
Interface 
VmkNic Name: vmk2 
IP Protocol: IPv4 
Interface UUID: ccf01954-68f4-3e5f-cb3a-001b21168828 
Agent Group Multicast Address: 224.2.3.4 
Agent Group Multicast Port: 23451 
Master Group Multicast Address: 224.1.2.3 
Master Group Multicast Port: 12345 
Multicast TTL: 5 


如 上 所 示 ， 命 令 的 输出 结果 提供 了 很 多 有 用 的 信息 ， 如 Virtual SAN 网 络 使 用 的 是 哪个 VMkernel 适 配器 ， 在 这 个 例子 里 是 
vmk2。 另 外 一 些 信息 ， 如 多 播 的 Agent Group 地 址 是 224.2.3.4， 端 口 是 23451， 该 端口 被 用 来 每 秒 发 一 次 心跳 信息 。 这 个 信息 
在 该 集群 中 的 其 他 所 有 主机 都 能 接收 到 。 另 外 ， 端 口 12345 被 用 于 集群 中 主 节点 和 备用 节点 之 间 的 CMMDS 更 新 信息 。 当 我 们 知 
道 了 Virtual SAN 网 络 使 用 的 是 哪个 VMkernel 适 配器 后 ， 我 们 残 可 以 运行 一 些 其 他 的 命令 ， 查 看 更 多 有 用 的 状态 信息 。 


2.esxcli network ip interface list 


在 知道 了 Virtual SAN 所 使 用 的 VMkernel 适 配器 后 ， 我 们 区 可 以 使 用 上 面 这 条 命令 查看 其 他 信息 。 例 如 ， 它 连接 到 的 是 哪 
个 标准 虚拟 交换 机 或 分 布 式 虚 拟 交 换 机 、MTU 值 设置 为 多 少 等 。 从 MTU 值 我 们 可 以 知道 巨 帧 在 这 个 环境 中 是 否 补 局 用 了 。 下 面 
这 个 例子 中 ，MTU 值 是 默认 值 1500。 


~ # esxcli network ip interface list 
vmk0 
<<truncated>> 
vmk1 
<<truncated>> 
vmk2 
Name: vmk2 
MAC Address: 00:50:56:61:3d:e1 
Enabled: true 
Portset: DvsPortset-0 


Portgroup: N/A 


Netstack Instance: defaultTcpipStack 

VDS Name: vds01 

VDS UUID: e6 98 23 50 11 e3 dd 59-e9 8c a6 99 bb Ob 2f c8 
VDS Port: 1308 

VDS Connection: 1384090857 

MTU: 1500 

TSO MSS: 65535 

Port ID: 50331661 


这 条 命令 的 输出 在 Virtual SAN5.5 版 本 和 更 高 版 本 中 有 所 差异 ， 但 是 在 6.x 版 本 中 提供 的 信息 更 多 。 在 这 个 例子 中 MTU 值 为 
1500， 因 此 这 个 VMkernel 适 配器 没有 启用 巨 帧 配置 。 如 果 启 用 巨 帧 的 话 ，MTU 值 一 般 为 9000 左 右 。 当 然 ， 用 户 可 以 根据 实际 
需要 启用 巨 帧 ，Virtual SAN 也 完全 支持 巨 帧 配置 。 


3.esxcli network ip interface ipvdget-i vmk2 


这 条 命令 可 以 显示 用 于 Virtual SAN 的 VMkernel 适 配器 中 配置 的 IP 地 址 和 子 网 掩 码 等 信息 。 这 条 命令 的 输出 对 于 Virtual 
SAN5.5 版 本 和 6.x 版 本 是 完全 一 致 的 。 有 了 这 些 信息 后 ， 管 理 员 就 可 以 将 这 些 信 息 作 为 其 他 命令 行 工 具 的 参数 ， 来 检查 Virtual 
SAN 的 网 络 是 否 正常 工作 。 


~ # esxcli network ip interface ipv4 get -i vmk2 
Name  IPv4 Address IPv4 Netmask IPv4 Broadcast Address Type DHCP DNS 


vmk2  172.32.0.4 pe be e be ps bo i EIS. .2925 STATIC false 


4.vmkping 


vmkping 是 一 条 很 简单 的 命令 ， 它 可 以 检查 网 络 上 的 其 他 ESXi 主 机 有 没有 回复 当前 主机 的 ping 请 求 。 这 条 命令 的 输出 对 于 
Virtual SAN5.5 版 本 和 6.x 版 本 是 完全 一 致 的 。 


~ 4 vmkping -I vmk2 172.32.0.3 

PING 172.32.0.3 (172.32.0.3): 56 data bytes 

64 bytes from 172.32.0.3: icmp seq-0 ttl1-264 time=0.186 ms 
64 bytes from 172.32.0.3: icmp seq-1 ttl1-64 time-2.690 ms 
64 bytes from 172.32.0.3: icmp seq-2 tt1l=64 time=0.139 ms 
--- 172.32.0.3 ping statistics --- 

3 packets transmitted, 3 packets received, 0$ packet loss 


round-trip min/avg/max - 0.139/1.005/2.690 ms 


尽管 该 命令 不 测试 多 播 功能 ， 但 是 它 对 于 我 们 找 出 存在 网 络 配 置 问题 的 ESXi 主 机 很 有 帮助 。 同 时 ， 管 理 员 也 可 以 检查 响应 时 
间 ， 来 观察 Virtual SAN 网 络 中 是 否 有 异常 的 延迟 。 另 外 有 一 点 值得 注意 ， 如 果 巨 帧 被 启用 了 ， 那 么 这 个 命令 在 MTU 值 设置 不 正 
确 的 情况 下 则 无 法 找 出 网 络 中 人 存在 的 任何 问题 。 如 果 需 要 测试 器 到 端的 巨 帧 配置 是 否 正确 ， 可 以 用 vmkping 命 令 加 上 一 个 参 
2, EBAN: 


~ # vmkping -I vmk2 172.32.0.3 -s 9000 

PING 172.32.0.3 (172.32.0.3): 9000 data bytes 

9008 bytes from 172.32.0.3: icmp seq-0 ttl=64 time=0.554 ms 
9008 bytes from 172.32.0.3: icmp seq-1 ttl=64 time=0.638 ms 
9008 bytes from 172.32.0.3: icmp seq-2 ttl1-264 time=0.533 ms 
--- 172.32.0.3 ping statistics --- 

3 packets transmitted, 3 packets received, 0$ packet loss 


round-trip min/avg/max - 0.533/0.575/0.638 ms 


另外 ， 使 用 -d 参 数 可 以 测试 在 数据 包 不 被 分 段 的 情况 下 ，ping 功 能 是 否 正 常 。 


I 


5.vsan.cluster info 


之 前 介绍 的 命令 有 一 个 很 大 的 问题 即 它们 只 能 在 单 台 ESXi 主 机 上 运行 。 这 意味 着 只 能 看 到 单 台 ESXi 主 机 的 信息 。 在 RVC 里 面 
还 有 另外 一 些 命令 ， 这 些 命令 可 以 以 整个 集群 为 视角 来 检查 Virtual SAN 集 群 的 网 络 配置 。 其 中 一 条 命令 残 是 


vsan.cluster info, 


/localhost/ie-datacenter-01/computers» vsan.cluster info O0 
Host: cs-ie-h01.ie.local 
Product: VMware ESXi 6.0.0 build-2305723 
Virtual SAN enabled: yes 
Cluster info: 
Cluster role: backup 
Cluster UUID: 529ccbe4-81d2-89bc-7a70-a9c69bd23a19 
Node UUID: 545ca9af-ff4b-fc84-dcee-001f29595f9f 


Member UUIDs: ["54188e3a-84fd-9a38-23ba-0015b21168828", "545ca9af-ff4b- 
fc84-dcee-001f29595f9f", "5460b129-4084-7550-46e1-0010185def78", 
"54196e13-7f5f-cba8-5bac-001517a69c72"] (4) 


Node evacuated: no 
Storage info: 
Auto claim: no 
Checksum enforced: no 
Disk Mappings: 
SSD:HP Serial Attached SCSI Disk (naa.600508b1001c61ced342b0c3fbf55132) - 186 GB, v1 
HP Serial Attached SCSI Disk (naa.600508b1001c16be6e256767284eaf88) - 136 GB, v1 
HP Serial Attached SCSI Disk (naa.600508b1001c64816271482a56a48c3c) - 136 GB, v1 
HP Serial Attached SCSI Disk (naa.600508b1001c388c92e817e43fcd5237) - 136 GB, v1 
Serial Attached SCSI Disk (naa.600508b1001ccd5d506e7ed19c40a64c) - 136 GB, v1 
HP Serial Attached SCSI Disk (naa.600508b1001c79748e8465571b6f4a46) - 136 GB, v1 
HP Serial Attached SCSI Disk (naa.600508b1001c2ee9a6446e708105054b) - 136 GB, v1 
HP Serial Attached SCSI Disk (naa.600508b1001c3ea7838c0436dbe6d7a2) - 136 GB, v1 
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FaultDomainInfo: 

Not configured 
NetworkInfo: 

Adapter: vmk2 (172.32.0.1) 


<<truncated>> 


这 条 命令 输出 的 最 后 一 段 是 关于 网 络 的 信息 ， 它 显示 了 Virtual SAN 所 使 用 的 VMKkernel 适 配器 和 它 的 |P 地 址 。 仅 仅 通 过 这 
一 条 命令 就 能 显示 出 Virtual SAN 集 群 中 的 所 有 ESXi 主 机 信息 。 


6.esxcli network ip neighbor list 


切换 到 ESXCLI， 下 面 这 条 命令 可 以 非常 快速 地 检查 出 Virutal SAN 集 群 里 面 的 所 有 主机 是 不 是 确实 在 同一 子 网 中 。 在 这 个 例 
子 中 ， 忆 共有 4 人 台 主 机 ， 这 条 命令 返回 了 其 他 3 台 主 机 的 ARP 人 信息， 其 中 还 包括 它们 的 IP 地 址 和 它们 所 使 用 的 vmknic 虚 拟 网 卡 
(这 个 例子 中 所 有 主机 都 使 用 的 是 vmk2) 。 这 条 命令 的 输出 对 于 Virtual SAN5.5 和 版 本 和 6.x 版 本 是 完全 一 致 的 。 


~ d esxcli network ip neighbor list -i vmk2 


Neighbor Mac Address Vmknic Expiry State Type 

172.332.0.1 00:50:56:68:63:fa vmk2 1081 sec Unknown 
172.32.0.2 00:50:56:6d:cb:3b vmk2 1081 sec Unknown 
112.342,U.3  UU:5U:55:650:45:53. vmi 1081 sec Unknown 


7.esxcli network diag ping 


为 了 获取 ESXi 主 机 之 间 的 Virtual SAN 网 络 连接 性 的 更 详细 信息 ，ESXCLI 在 Virtual SAN5.5 版 本 和 6.x 版 本 中 都 提供 了 这 条 很 
有 用 的 诊断 命令 。 这 条 命令 会 检查 网 络 中 数据 包 是 否 有 重 传 ， 也 可 以 检查 数据 包 的 往返 时 | 间 。 下 面 是 这 条 命令 的 示例 ， 其 中 对 方 


主机 的 VMkernel 适 配器 是 vmk2， 它 所 配置 的 Virtual SAN 网 络 使 用 的 |P 地 址 是 172.32.0.3: 


~ # esxcli network diag ping -I vmk2 -H 172.32.0.3 


Summary : 
Duplicated: 0 
Host Addr: 172. 


Packet Lost: O0 


Recieved: 3 


Roundtrip Avg MS: 
Roundtrip Max MS: 
Roundtrip Min MS: 


Transmitted: 3 
Trace: 

Detail: 

Dup: false 

Host: LIU 

ICMPSeq: 0 


Received Bytes: 


Roundtrip Time 
TTL: 64 


Detail: 
Dup: false 
Host: 


ICMPSeq: 1 


Received Bytes: 


Roundtrip Time 


TTL: 64 


Detail: 
Dup: false 
Host: 


ICMPSeq: 2 


Received Bytes: 


Roundtrip Time 


8.1.2 检查 多 播 配置 


在 Virtual SAN 的 部 署 中 ， 多 播 配 置 是 一 个 最 容易 出 问题 的 地 方 。 


LIS.232,05 


Lie yess 


2404 


263 
371 
185 


E 


64 


MS: 372 


64 
MS: 


法 ， 是 使 用 tcpdump-uw 命 令 。 下 面 这 条 命令 可 以 在 ESXi 主 机 的 命令 行 界面 上 使 用 。 


tcpdump-uw -i vmk2 udp port 23451 -v 


详细 的 信息 。 


这 条 命令 可 以 显示 主 节 点 是 人 否 在 正确 地 友 送 多 播 包 (包括 端口 和 iP 信息) ， 并 且 能 显示 集 
在 主 节 点 上 ， 这 条 合 令 的 输出 展示 出 被 友 送 到 多 播 地 址 的 包 。 在 其 他 节点 上 ， 展 示 出 的 是 完全 相同 的 信息 (MERA 
多 播 地 址 ) 。 如 果 没有 这 些 信息 ， 那 么 多 播 的 配置 丈 是 不 正确 的 。 在 集群 中 的 任何 ESXi 主 机 上 都 可 以 运行 这 条 tcpdump-uw 

令 ， 并 且 能 看 到 心跳 信息 从 主 节点 友 送 过 来 。 在 下 面 这 个 例子 中 ， 主 节点 的 IP 地 址 是 172.32.0.4，-v 参 数 是 可 选 的 ， 可 以 输出 更 


最 简单 的 检查 Virtual SAN 网 络 中 多 播 是 否 正常 工作 的 方 


群 里 的 其 他 主机 能 否 正确 地 接收 


~# tcpdump-uw -i vmk2 udp port 23451 -v 

tcpdump-uw: listening on vmk2, link-type EN10MB (Ethernet), capture size 96 bytes 

14:17:19.327940 IP truncated-ip - 218 bytes missing! (tos 0x0, ttl 5, id 21137, 
offset 0, flags [none], proto UDP (17), length 300) 
172.32.0.3.30254 » 224.2.3.4.23451: UDP, length 272 

14:17:19.791813 IP truncated-ip - 130 bytes missing! (tos 0x0, ttl 5, id 8788, 
offset 0, flags [none], proto UDP (17), length 212) 
172.32.0.4.42569 » 224.2.3.4.23451: UDP, length 184 

14:17:20.327813 IP truncated-ip - 218 bytes missing! (tos 0x0, ttl 5, id 28287, 
offset 0, flags [none], proto UDP (17), length 300) 
172.32.0.3.30254 » 224.2.3.4.23451: UDP, length 272 

14:17:20.492136 IP truncated-ip - 266 bytes missing! (tos 0x0, ttl 5, id 29439, 
offset 0, flags [none], proto UDP (17), length 348) 
172.32.0.3.30254 » 224.2.3.4.23451: UDP, length 320 

14:17:20.493143 IP truncated-ip - 442 bytes missing! (tos 0x0, ttl 5, id 29459, 
offset 0, flags [none], proto UDP (17), length 524) 


172 .32.0.3.30254 > 224.2,3.4.23451: UDP, length 496 

14:17:20.791810 IP truncated-ip - 130 bytes missing! (tos 0x0, ttl 5, id 26444, 
offset 0, flags [none], proto UDP (17), length 212) 
172.32.0.4.42569 > 224.2.3.4.23451: UDP, length 184 


尽管 这 条 命令 的 输出 有 些 复杂 ， 但 是 还 是 可 以 看 出 这 台 主 机 确实 收 到 了 从 主 市 点 友 送 过 来 的 心跳 信息 。tcpdump-uw 命 令 
要 在 集群 中 的 每 台 主 机 上 都 运行 ， 检 查 是 否 每 人 台 主 机 都 收 到 了 心跳 信息 。 这 会 确保 在 这 个 集群 中 主 书 点 确实 是 在 友 送 心跳 信 
息 ， 并 且 所 有 的 其 他 主机 都 能 收 到 。 只 有 在 每 人 台 主 机 上 都 验证 后 ， 才 能 确认 这 个 集群 的 多 播 配 置 确 实 是 正确 的 。 


为 了 去 除 掉 烦 人 的 “IP truncated-ip-XX byes missing” 信 息 ， 可 以 简单 地 在 命令 的 最 后 加 上 一 个 -s0 参 数 。-s0 参 数 加 上 
后 ， 数 据 包 束 不 会 被 截断 。 


# tcpdump-uw -i vmk2 udp port 23451 -v -s0 

tcpdump-uw: listening on vmk2, link-type EN10MB (Ethernet), capture size 65535 
bytes 

21:14:09.093549 IP (tos 0x0, ttl 5, id 61778, offset 0, flags [none], proto UDP (17), 
length 228) 

172.32.0.3.20522 » 224.2.3.4.23451: UDP, length 200 

21:14:09.617485 IP (tos 0x0, ttl 5, id 46668, offset 0, flags [none], proto UDP (17), 
length 316) 

172.32.0.4.16431 » 224.2.3.4.23451: UDP, length 288 

21:14:10.093543 IP (tos 0x0, ttl 5, id 61797, offset 0, flags [none], proto UDP (17), 
length 228) 


如 果 Virtual SAN 集 群 中 的 某 些 主机 不 能 接收 到 每 秒 1 次 的 心跳 信息 ， 那 管理 员 束 需要 检查 物理 交换 机 上 的 多 播 配置 。 


8.1.3 在 多 个 Virtual SAN 集 群 时 更 改 多 播 地 址 


当 在 同一 个 子 网 里 面 有 多 个 Virtual SAN 集 群 司 用 时 ， 推 荐 的 方法 是 在 不 同 的 Virtual SAN 集 群 里 采用 不 同 的 多 播 地 址 。 这 将 
避免 ESXi 主 机 处 理 其 他 集群 中 友 送 的 任何 多 播 流量 。 


为 了 在 ESXi 主 机 上 更 改 用 于 Virtual SAN 网 络 的 多 播 地 址 ， 首 先 在 ESXi 主 机 上 运行 下 面 命 令 以 检查 它 所 使 用 的 VMkernel 适 
Aces: 


esxcli vsan network list 


这 条 命令 的 输出 类 似 于 : 


Interface 
VmkNic Name: vmk2 
IP Protocol: IPv4 
Interface UUID: 6a836354-bf24-f157-dda/7-001517a69c72 


Agent Group Multicast Address: 224.2.3.4 
Agent Group Multicast Port: 23451 

Master Group Multicast Address: 224.1.2.3 
Master Group Multicast Port: 12345 
Multicast TTL: 5 


现在 可 以 用 下 面 这 条 命令 


egxcli vsan network ipv4 set 


更 改 这 个 主机 上 用 于 Virtual SAN 网 络 的 多 播 地 址 ， 具 体 如 下 : 


esxcli vsan network ipv4 set -i «vmkernel interface» -d «multicast agent group 


address» -u «multicast master group address» 


命令 中 的 用 于 主 节点 和 备份 节点 之 间 通 过 12345 端 口 更 新 CM MDS 信 息 ， 用 于 在 所 有 节点 之 间 通 过 23451 端 口 发 送 心跳 信 
息 。 例 如 ， 如 果 要 把 地 址 更 改 为 224.2.3.5， 同 时 把 地 址 更 改 为 224.2.3.6， 需 要 在 这 个 Virtual SAN 集 群 中 的 每 一 个 ESXi 主 机 上 都 


运行 如 下 命令 : 


esxcli vsan network ipv4 set -i vmk2 -d 224.2.3.6 -u 224.2.3.5 


8.1.4 网 络 端口 和 ESXi 防 火 墙 


表 8-1 列 出 的 是 Virtual SAN 使 用 的 网 络 端口 。 
表 8-1 Virtual SAN 使 用 的 网 络 端 口 


名 称 D O 协 iX 流量 类 型 
CMMDS - Cluster Directory Service 12345, 23451 UDP 多 播 


Virtual SANVP — VASA Provider 8080 单 播 


Virtual SAN Observer 8010 TCP 单 播 


当 vCenter 服 务 器 和 ESXi 主 机 之 间 存 在 防火 墙 时 ， 了 解 这 些 站 口 是 有 必要 的 。 人 例如， 我 们 需要 把 8080 端 口 打开 ， 以 用 于 
VASA Provider 服 务 。 


另外 ， 如 果 配 置 了 Virutal SAN 的 延伸 集群 ， 即 Virutal SAN 中 不 同 的 故障 域 包 放置 在 物理 上 隔离 的 不 同 数据 中 心 时 ， 确 保 开 
放 2233、12345、23451 等 端口 。 


8.1.5 ”检查 Virtual SAN 网 络 的 性 能 


天 于 网 络 ， 很 重要 的 一 点 是 要 确保 不 同 ESXi 主 机 之 间 的 网 络 市 宽 足 够 大 。 下 面 的 工具 将 帮助 管理 员 检 查 Virtual SAN 网 络 是 


否 在 以 最 优 性 能 运行 。 
iperf for Virtual SAN6.0 


对 于 Virtual SAN6.x 版 本 ，ESXi 主 机 上 都 安装 了 iperf 工 具 ， 执 行路 径 为 /usr/lib/vmware/vsan/bin/iperf， 可 以 加 上 --help 
参数 查看 各 种 不 同 参 数 的 用 法 。 简 单 来 说 ， 这 条 命令 可 以 查看 Virtual SAN 集 群 中 的 不 同 ESXi 主 机 之 间 的 网 络 带 宽 和 时 延 。 
VMware 知识 库 文章 2001003 中 有 关于 如 何 设置 和 运行 ijperf 工 具 的 详细 信息 。 建 议 管理 员 在 Virtual SAN 集 群 刚 建立 时 运行 这 个 
工具 进行 网 络 性 能 测试 。 因 为 如 果 在 称 定 的 生产 环境 中 运行 jperf， 那 么 可 能 会 影响 Virtual SAN 集 群 中 运行 的 虚拟 机 的 性 能 。 


8.1.6 ”检查 Virtual SAN 网 络 的 限制 


vsan.check limits 


这 条 命令 需要 在 RVC 中 运行 ， 它 将 检查 Virtual SAN 中 任何 一 项 对 于 网 络 资 源 的 使 用 是 否 达 到 它 的 最 大 立 值 。 


/ie-vcsa-03.ie.local/vsan-dc/computers» ls 
0 vsan (cluster): cpu 109 GHz, memory 329 GB 


/ie-vcsa-03.ie.local/vsan-dc/computers» vsan.check limits 0 


cs-ie-h02.ie.local | Assocs: 139/45000 | Components: 116/3000 

| Sockets: 102/10000 | naa.600508b1001c193351744d82278dee603: 3$ 
naa.600508b1001c10548f£5105£c60246b4a: 8% 
naa.600508b1001cb2234d6ff4f7b1144f59: 10% 
naa.600508b1001c577e11dd042e142a583f: 0% 


| Clients: 0 | 
| 
| 
| naa.600508b1001c0cc0ba2a3866cf8e28be: 26% 
| 
| 


| Owners: 20 


| 

| | 
| | 
| | 
| | 
| | | 
| | naa.600508b1001ca36381622ca880f3aacd: 12% | 
| | naa.600508b1001c07d4525259e83da9541bf: 2% | 
| cs-ie-h03.ie.local | Assocs: 45/45000 | Components: 0/3000 | 
| | Sockets: 40/10000 naa .600508b1001c1a7 £310269ccd51a4e83: 0% | 
| | Clients: 4 naa. 600508b1001c9b93053e6dc3ea9bf3ef: 0% | 
| | Owners: 12 naa.600508b1001cb11f3292fe743a0fd2e7: 0% | 
| naa.600508b1001c9c8bb5f6f0d7a2be44433: 0$ | 
| | 
| | 
| | 
| 

| 

| 

| 

| 


| 
| 
| 
| 
| | naa.600508b1001ceefc4213ceb9b51c4be4: 0% 
| | naa.600508b1001c2b7a3d39534ac6beb92d: 0% 
| | naa.600508b1001cd259ab7ef213c87eaad7: 0$ 
cs-ie-h04.ie.local | Assocs: 502/45000 | Components: 97/3000 
| naa.600508b1001c4b820b4d80f9f8acfa95: 6% 
| naa.600508b1001c846c000c3d9114ed71b3 : 3% 
| naa.600508b1001cadff5d80ba7665b8f09a: 4% 
| 


naa .600508b1001c4d41121b41182fa83be4: 3% 


Sockets: 187/10000 
Clients: 75 


Owners: 84 


| | naa.600508b1001c40e393b73af79eacdcde: 0$ | 
| | naa.600508b1001c51£3a696fe0bbbcb5096: 48 | 
| | naa.600508b1001c258181f0a088f6e40dab: 48 | 

| 


cs-ie-h01.ie.local | Assocs: 98/45000 Components: 97/3000 


| 

| 

| 

| | 

| | Sockets: 101/10000 | naa.600508b1001c388c92e817e43fcd5237: 4% | 

| | Clients: O0 | naa.600508b1001c64816271482a56a48c3c: 28 | 

| | Owners: 0 | naa.600508b1001c79748e8465571b6£4a46: 2% | 

| | | naa.600508b1001c61cedd42b0c3fbf55132: 0% | 

| | | naa.600508b1001c3ea7838c0436dbe6d7a2: 16% | 

| | | naa.600508b1001c2ee9a6446e708105054b: 3$ | 

| | | naa.600508b1001ccd5d506e7ed19c40a64c: 1 | 

| | | naa.600508b1001c16be6e256767284eaf88: 11% | 
十 + 


从 网 络 角度 来 说 ， 上 面 示例 中 的 RDT Assocs 和 Socketsg 两 个 数目 是 最 重要 的 。 对 于 Virtual SAN6.x 来 说 ， 每 个 ESXi 主 机 上 
最 多 人 允许 45000 个 Assocs。 表 中 的 Assocs 表 示 “关联 (Association) ”， 它 用 来 跟踪 Virtual SAN 中 点 对 点 的 网 络 状态 信息 。 
Virtual SAN 在 运行 时 任何 时 候 都 不 应 该 使 RDT Assocs 用 尽 ， 即 每 个 ESXi 主 机 上 的 使 用 量 不 能 超过 45000 个 。 


Virtual SAN 同 时 也 限制 能 够 建立 的 TCP 连 接 数量 ， 从 上 面 示例 中 可 以 看 到 ， 每 个 FSXi 主 机 上 限制 为 最 多 建立 10000 个 TCP 


连接 。 


Fm abla “Pum (Clients) ”是 指 Virtual SAN 集 群 中 用 于 访问 某 个 对 象 的 客 尸 病 ， 大 部 分 情况 下 ， 客 尸 端 表示 的 束 
是 某 人 台 ESXi 主 机 上 运行 的 虚拟 机 。 需 要 注意 的 是 ， 一 个 客 尸 端 和 它 指向 的 对 象 可 能 不 在 同一 人 台 ESXi 主 机 上 。 对 于 这 个 
(H, Virtual SAN 没 有 硬性 限制 ， 但 是 上 面 示例 中 也 将 这 个 值 输出 ， 来 帮助 管理 员 理 解 “ 客 尸 端 ”在 不 同 主机 之 间 是 怎样 分 布 
的 。 


对 于 Virtual SAN 中 的 某 个 对 篆 来 说 ， 一 定 有 且 仪 有 一 个 “所 有 者 (Owner) " , 一 般 来 说 ，“ 所 有 者 ”和 “客户 端 ”被 放 
置 在 一 起 。Virtual SAN 对 象 的 所 有 者 用 于 协调 所 有 对 于 某 个 对 象 的 访问 ， 并 且 通 过 它 来 实现 对 象 的 “镜像 ”和 “条 市 化 ”。 对 
于 “所 有 者 ”的 数量 ，Virtual SAN 也 没有 做 限制 ， 但 是 上 表 中 也 将 这 个 值 输出 来 帮助 管理 员 理 解 “ 所 有 者 ”在 不 同 主机 之 间 是 
怎样 分 布 的 。 


8.1.7 ”网 络 状态 : 检测 到 错误 配置 


对 于 网 络 方面 的 问题 ， 一 般 在 vSphere Web Client 中 的 Virtual SAN 页 面 上 显示 为 “Misconfiguration detected” ， 单 击 
如 图 8-1 所 示 的 页 面 上 的 (i) 按钮 可 以 看 到 较为 详细 的 信息 ， 可 能 由 多 方面 的 原因 引起 这 个 问题 ， 这 一 节 摘 述 一 些 最 音 见 的 问题 
和 检查 方法 。 
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错误 侦 测 详细 信息 


单 的 查看 网 络 是 否 分 区 的 方法 是 在 vSphere Web Client 中 的 Virtual SANT 
查看 最 右 侧 的 一 询 “Network Partition Group”。 如 图 8-2 所 示 。 如 果 所 有 的 


ESXi 主 机 都 在 同一 个 组 里 ， 那 束 不 存在 网 络 分 区 ; 如 果 它 们 在 不 同 的 组 里 ， 那 残 识 明 出 现 了 网 络 分 区 。 
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图 8-2 ”磁盘 管理 


图 8-2 中 因为 有 一 台 ESXi 主 机 出 现在 Group1， 而 另外 2 台 ESXi 主 机 出 现在 Group2， 可 以 看 出 发 生 了 网 络 分 区 。 另 外 还 有 一 
些 其 他 的 方法 可 以 查看 是 否 友 生 了 网 络 分 区 ， 其 中 一 条 有 用 的 命令 是 在 各 个 ESXi 主 机 上 运行 “esxcli vsan cluster get" MS. 


如 果 任 何 一 台 主 机 和 其 他 的 所 有 主机 都 不 能 进行 通信 ， 那 么 每 台 主 机 都 会 显示 上 自己 为 “ 主 节 后" 


是 主 蔬 点， 那么 网 络 中 就 存在 分 区 。 


。 如 果 有 多 台 ESXi 主 机 显示 自己 


如 果 只 有 一 台 主 机 在 上 自己 的 分 区 里 ， 而 其 他 的 主机 都 在 另外 一 个 分 区 里 ， 那 就 说 明 只 有 这 人 台 主 机 存在 网 络 配 置 问题 。 如 果 所 
有 的 主机 都 在 目 己 的 网 络 分 区 里 ， 那 么 这 很 可 能 是 整个 网 络 的 配置 出 现 了 问题 。 


(1) esxcli vsan cluster get 


TAHTE IME AENEAM ONIS KEW. CERABCALDR, HERA ROME, NEBST 
输出 中 ， 也 看 不 到 其 他 的 ESXi 主 机 的 存在 。 


~ # esxcli vsan cluster get 
Cluster Information 
Enabled: true 
Current Local Time: 2012-12-18710:35:19Z 
Local Node UUID: 507e7bd5-ad2f-6424-66cb-1cc1de253de4 
Local Node State: MASTER 
Local Node Health State: HEALTHY 
Sub-Cluster Master UUID: 507e7bd5-ad2f-6424-66cb-1cc1de253de4 
Sub-Cluster Backup UUID: 
Sub-Cluster UUID: 52e4fbe6-7fe4-9e44-f9eb-c2fcl1da77631 
Sub-Cluster Membership Entry Revision: 7 
Sub-Cluster Member UUIDs: 507e7bd5-ad2f-6424-66cb-1ccl1de253de4 
Sub-Cluster Membership UUID: ba45d050-2e84-c490-845f-1ccl1de253de4 


可 以 将 以 上 输出 和 下 面 这 条 正常 情况 下 的 输出 做 一 个 比较 ， 下 面 是 一 个 正确 配置 的 4 节点 Virtual SAN 集 群 ， 没 有 了 网络 分 
区 ， 注 意 其 中 的 “Sub-Cluster Member UUIDs" 这 一 项 即 为 集群 中 其 他 节点 的 UUID。 


~ 4d esxcli vsan cluster get 
Cluster Information 
Enabled: true 
Current Local Time: 2014-11-28709:05:29Z 
Local Node UUID: 54188e3a-84fd-9a38-23ba-001b21168828 
Local Node State: MASTER 
Local Node Health State: HEALTHY 
Sub-Cluster Master UUID: 54188e3a-84fd-9a38-23ba-001b21168828 
Sub-Cluster Backup UUID: 545ca9af-ff4b-fc84-dcee-001f29595f9f 
Sub-Cluster UUID: 529ccbe4-81d2-89bc-7a70-a9c69bd23a19 
Sub-Cluster Membership Entry Revision: 3 
Sub-Cluster Member UUIDs: 54188e3a-84fd-9a38-23ba-001b21168828, 545ca9af- 
ff4b-fc84-dcee-001f£29595f9f, 5460b129-4084-7550-46e1-0010185def78, 
54196e13-7f5f-cba8-5bac-001517a69c72 
Sub-Cluster Membership UUID: 80757454-2e11-d20f£-3£b0-001b21168828 


除 此 以 外 ， 我 们 还 可 以 通过 RVC 命 令 查看 网 络 分 区 ， 下 面 举 一 些 例子 。 
(2) vsan.cluster info 


这 条 命令 能 给 出 Virtual SANERAS. WRXRSRE I 227 "REF , JRRSEDPEBEBEBPH—TGDA, E 
时 也 有 各 目的 成 员 ESXi 主 机 ， 那 融 表 示 友 生 了 网 络 分 区 。 在 下 面 这 个 例子 中 ， 一 个 3 节点 Virtual SAN 集 群 被 分 为 两 个 集群 ， 分 
别 包含 2 个 节点 和 1 个 节操 。 


/localhost/ie-datacenter-01/computers» vsan.cluster info 0 
Host: cs-ie-h01.ie.local 
Virtual SAN enabled: Yes 
Cluster info: 
Cluster role: master 
Cluster UUID: 52dc5a95-d04b-cbb9-9d90-f486c2f14d1ld 
Node UUID: 54184636-badc-c416-1699-001f£29595f9f 
Member UUIDs: ["54196e13-7f5f-cba8-5bac-001517a69c72", "54184636-badc- 
c416-1699-001f29595f9f"] (2) 
Storage info: 


Auto claim: no 


<<truncated>> 


Host: cs-ie-h02.ie.local 
Virtual SAN enabled: yes 
Cluster info: 
Cluster role: master 
Cluster UUID: 52dc5a95-d04b-cbb9-9d90-f£486c2f14d1d 
Node UUID: 54184636-badc-c416-1699-001f29595f9F 
Member UUIDs: ["54196e13-aabb-cba8-6734-001517bdef76"] (1) 
Storage info: 


Auto claim: no 


<<truncated>> 


Ei 


2. 诊 断 多 播 配 置 问 


前 文 提 到 ，Virtual SAN 集 群 可 能 会 跨越 多 台 物 理 交 换 机 进行 配置 。 在 这 种 情况 下 ， 可 能 导致 在 基 些 物理 交换 机 上 启用 了 多 
播 ， 但 是 在 其 他 交换 机 上 多 播 并 没有 被 正确 启用 。 在 图 8-3 的 示例 中 ， 由 于 多 播 导 致 Virtual SAN 集 群 被 分 成 了 两 个 区 ，Group1 
只 有 1 人 台 ESXi 主 机 ，Group2 有 2 人 台 ESXi 主 机 。 发 生 这 种 情况 时 ， 可 以 使 用 RVC 里 面 的 vsan.lldpnetap 命 令 查 看 网 络 信息 ， 特 别 是 
物理 设备 的 配置 信息 ， 以 及 哪些 ESXi 主 机 连接 到 哪个 物理 交换 机 。 


S | 


Multicast OK 





图 8-3 ”多 播 分 区 


ER 
NS 


8.1.8 诊断 MTU/ 巨 帧 配置 不 一 致癌 题 


MTU 值 在 整个 网 络 中 的 不 匹配 是 一 个 很 难 定位 的 问题 。 在 Virtual SAN 集 群 中 ， 如 果 只 有 巨 帧 的 配置 不 正确 ， 而 其 他 配置 都 
正确 ， 那 Virtual SAN 就 发 现 不 了 也 不 会 报告 任何 问题 ， 这 是 因为 Virtual SAN 中 用 来 检查 网 络 的 数据 包 不 会 使 用 巨 帧 包 来 做 检 
查 。 事 实 上 ，Virtual SAN 只 会 简单 地 发 送 一 个 心跳 信息 ， 这 个 数据 包 的 大 小 取决 于 Virtual SAN 集 群 中 主机 的 数量 ， 所 以 ， 这 个 
值 可 能 远 远 小 于 1500MTU。 因 此 ，Virtual SAN 可 能 报告 整个 集群 的 网 络 配置 是 正确 的 ， 但 是 创建 虚拟 机 时 会 发 生 错误 。 


在 ESXi 主 机 上 ， 用 以 下 ESXCLI 命 令 检查 主机 上 的 MTU 值 是 否 设置 正确 。 


1.esxcli network ip interface list 


~ 4 esxcli network ip interface list 
vmk0 
<<truncated>> 
vmk1 
<<truncated>> 
vmk2 
vmk2 
Name: vmk2 
MAC Address: 00:50:56:61:3d:el 
Enabled: true 
Portset: DvsPortset-1 
Portgroup: N/A 
Netstack Instance: defaultTcpipStack 
VDS Name: ie-vds-04 
VDS UUID: 83 d4 3e 50 ae 27 78 5d-1d 27 2d ff 5a 34 64 85 
VDS Port: 18 
VDS Connection: 1525799189 
Opaque Network ID: N/A 
Opaque Network Type: N/A 
External ID: N/A 
MTU: 1500 
TSO MSS: 65535 
Port ID: 50331661 


用 以 下 命令 检查 标准 虚拟 交换 机 的 MTU 值 。 


2.esxcli network vswitch standard list 


~ 4d esxcli network vswitch standard list 
vSwitchO0 

Name: vSwitch0 

Class: etherswitch 

Num Ports: 4352 

Used Ports: 4 


Configured Ports: 128 
MTU: 1500 

CDP Status: listen 
Beacon Enabled: false 
Beacon Interval: 1 
Beacon Threshold: 3 
Beacon Required By: 
Uplinks: vmnicO0 


Portgroups: VM Network, Management Network 


如 果 需 要 查看 分 布 式 虚拟 交换 机 上 设置 的 MTU 值 ， 可 以 用 这 个 命令 : /bin/net-dvs-l， 然 后 再 用 “grep” 命 令 提取 出 MTU 
值 ， 它 在 命令 输出 结果 的 全 局 属性 配置 部 分 。 加 上 -B 参 数 可 以 只 查看 头 部 的 铬 干 行 。 


~ # /bin/net-dvs -l|grep -i MTU -B 15 
global properties: 
com.vmware.common.version - 0x 3. 0. 0. O0 


propType - CONFIG 


com.vmware.common.opaqueDvs = false , propType = CONFIG 
com.vmware.common.alias = vdsO1 , propType = CONFIG 
com.vmware.common.uplinkPorts: 

mgmt, vmotion, vm, vsanl, vsan2, vsan3 

propType = CONFIG 
com.vmware.etherswitch.ipfix: 

idle timeout - 15 seconds 

active timeout - 60 seconds 

sampling rate = 0 

collector = 0.0.0.0:0 

internal flows only - false 

propType - CONFIG 
com.vmware.etherswitch.mtu - 1500 , propType - CONFIG 


从 示例 的 最 后 一 行 可 以 看 出 ， 这 个 分 布 式 虚拟 交换 机 上 设置 的 MTU 值 为 1200。 


Qs 在 很 多 VMware 知识 库 文章 中 都 介绍 了 如 何 使 用 这 个 命令 查看 分 布 式 虚 拟 交换 机 的 配置 信息 。 但 是 ，VMwate 强 烈 
建议 只 用 这 个 命令 来 查看 信息 ， 而 不 要 做 任何 的 更 改 。 


最 后 要 强调 的 是 ， 在 物理 交换 机 上 的 MTU 值 也 同样 需要 被 检查 ， 并 且 查 看 其 是 否 与 虚拟 交换 机 上 的 值 相 兼容 。 如 何 查看 物 
理 交 换 机 的 配置 信息 已 经 超出 了 本 书 的 范围 ， 因 为 对 于 每 一 个 提供 两 来 说 其 方法 都 可 能 不 同 。 但 是 ， 读 者 需要 注意 ， 在 诊 岂 
Virtual SAN 网 络 问 题 时 ， 一 定 也 要 检查 物理 设备 的 配置 。 


MTU 错 误 配 置 : 不 能 完成 文件 创建 


这 是 一 个 MTU 错 误 配 置 时 出 现 的 上 典型 现象 。Virtual SAN 集 群 被 成 功 组 建 后 ， 它 报告 网 络 状态 一 切 正 常 。 但 是 ， 当 交 试 创建 
一 个 虚拟 机 时 ， 会 出 现 一 个 错误 指出 “Cannot complete file creation operation" (不 能 完成 文件 创建 操作 ) 。 如 图 8-4 所 


个 \。 


ae e. E Q Search 


Create virtual machine 


Status: © Cannot complete file creation operation. Queued For: 40 ms 


mur VERE 
Initiator. root Start Time: Monday, October 6, 2014 10:56:12 AM 


Target dotmn Complete Time: Monday, October 6, 2014 10:57:02 AM All Running Failed 


Server vCenter Q Create virtual machine 


Error stack: Submit error report... |.. [53 dotmn 


‘+ Failed to connect to component host 5419e4e5-daed-b7e8-3a07-00266cf65634. Cannot complete file creation … 
^^ Failed to create object. 


Related events: 


Qj Monday, October 6, 2014 10:56:12 AM Task Create virtual machine 








图 8-4 MTU 错 误 配 置 


这 个 示例 出 现 错误 的 原因 是 ， 管 理 员 希望 在 Virtual SAN 网 络 中 使 用 巨 帧 ， 于 是 在 物理 交换 机 上 将 MTU 值 设置 成 了 9000。 
但 是 ， 在 这 个 实例 中 ， 物 理 交 换 机 (在 这 个 例子 中 是 DELL PowerConnect) 即便 将 MTU 值 设置 为 9000， 也 不 会 足够 大 到 能 三 
ESXi 主 机 上 的 MTU9000 相 匹配 ， 因 为 会 有 额外 的 开销 。 实 际 上 ， 在 物理 交换 机 上 的 MTU 值 必须 被 设置 成 9216 (1024x9) 才能 
使 巨 帧 在 Virtual SAN 网 络 上 被 成 功 地 传输 。 


所 以 ， 在 Virtual SAN 网 络 中 使 用 巨 帧 时 ， 一 定 要 用 前 文 提 到 的 vmkping 命 令 ， 通 过 设置 更 大 的 数据 包 ， 来 测试 一 下 巨 帧 能 
否 被 正确 地 传输 。 


8.1.9 ”检查 子 网 和 和 VLAN 设 置 


为 了 查看 子 网 掩 码 ， 可 以 在 ESXi 主 机 上 运行 如 下 ESXCLI 命 令 。 


esxcli network ip interface ipv4 get -i vmk2 
其 具体 实例 如 下 : 


~ # esxcli network ip interface ipv4 get -i vmk2 


Name  IPv4 Address  IPv4 Netmask IPv4 Broadcast Address Type DHCP DNS 


vmk2 172.32.0.4 499.4923«42923,U0 Lf2.32.0.295 STATIC false 


在 以 上 命令 的 输出 中 ， 有 一 项 信息 获取 不 到 ， 那 就 是 Virtual SAN 网 络 所 使 用 的 VLAN 号 。 这 也 是 很 重要 的 一 个 配置 ， 因 为 
某 些 主机 配置 的 用 于 Virtual SAN 网 络 的 vmknic 可 能 被 打上 了 VLAN 标 签 ， 而 其 他 的 主机 却 没有 ， 这 也 会 导致 网 络 的 错误 配置 并 
使 Virtual SAN 网 络 分 区 。 


为 了 检查 一 个 Virtual SAN 人 和 集群 中 的 所 有 ESXi 主 机 是 否 都 被 打上 了 相同 的 VLAN 标 签 ,或 者 都 没有 VLAN 标 签 ， 可 以 通过 
vSphere Web Client， 导 航 到 每 台 主 机 上 的 VMkernel 适 配器 配置 页 ， 检 查 用 于 Virtual SAN 网 络 的 VMkernel 适 配器 ， 并 上 且 查 
看 它 的 属性 ， 如 图 8-5 所 示 。 


Getting Started Summary Monitor | Manage | Related Objects 


Settings | Storage | Networking | Alarm Defnitons | Tags | Permissions | 


44 VMkernel adapters 
Virtual switches 


2a te | ^ x f»; be Q Filter - 
Device Network Label Switch IP Address 


TCP/IP Stack vMotion Traffic Provisioning FT Logging 
Physical adapters 





Wl mko € ManagementNetw.. $f vSwitcho 10.27.51.2 Default Disabled Disabled Disabled 
vmk1  vmotion es ie-vds-04 10.27.51.32 Default Enabled Disabled Disabled 
Advanced WW vmk2  $,vsan ga ie-vds-04 1723202 Default Disabled Disabled Disabled 


TCPAP configuration 


VMkernel network adapter: vmk2 
All | Properties IP Settings Policies 


Peak bandwidth 

Burst size 
VLAN 

Type 





图 8-5 ”主机 的 VMkernel 适 配器 配置 页 


在 这 个 示例 中 ，Virtual SAN 网 络 没有 使 用 VLAN， 所 以 在 属性 里 ，VLAN 的 类 型 显示 为 “None”。 如 果 使 用 了 VLAN,， 这 


里 将 会 显示 其 VLAN 号 。 管 理 员 需要 确保 这 里 的 配置 在 这 个 Virtual SAN 集 群 中 所 有 的 ESXi 主 机 上 都 是 一 致 的 。 


8.1.10 ”刷新 网 络 配置 


有 时 会 出 现 这 样 的 情况 ， 当 管理 员 意 识 到 Virtual SAN 网 络 出 现 问题 时 ， 及 时 将 它 解决 了 ， 但 是 Virtual SAN 还 没有 及 时 更 新 
配置 信息 。 在 这 种 情况 下 ， 可 以 利用 RVC 中 的 这 条 命令 : 


vsan.reapply vsan vmknic. config 


它 可 以 将 Virtual SAN 从 基 个 VMkernel 适 配器 上 解除 绑 定 ， 然 后 再 将 Virtual SAN 和 这 个 VMkernel 绑 定 ， 并 且 应 用 Virtual 
SAN 的 各 项 网 络 配 置 ， 以 此 来 达到 刷新 的 目的 ， 示 例如 下 : 


> vsan.reapply vsan vmknic config cs-ie-h02.ie.local 
Host: cs-ie-h02.ie.local 
Reapplying config of vmk2: 
AgentGroupMulticastAddress: 224.2.3.4 
AgentGroupMulticastPort: 23451 
IPProtocol: IPv4 
InterfaceUUID: 6a836354-bf24-f157-dda7-001517a69c72 
MasterGroupMulticastAddress: 224.1.2.3 
MasterGroupMulticastPort: 12345 
MulticastTTL: 5 
Unbinding Virtual SAN from vmknic vmk2 ... 


Rebinding Virtual SAN to vmknic vmk2 ... 


8.2 Virtual SAN 存 储 排 错 


在 这 一 节 ， 我 们 将 介绍 Virtual SAN 集 群 中 存储 层面 可 能 出 现 的 问题 ， 如 何 去 发现 这 些 问题 ， 以 及 可 能 的 解决 办 法 。 


如 前 文 强调 的 一 样 ，VMware 强 烈 建议 使 用 Virtual SAN 运 行 状况 检查 插件 来 做 初始 的 问题 友 现 与 定位 。Virtual SAN 运 行 状 
况 检查 插件 会 做 很 多 与 存储 相关 的 运行 状况 检查 ， 如 果 友 现 问 题 ， 它 会 引导 省 理 员 到 相关 的 VMware 知 识 库 文章 来 措 导 省 理 员 解 
决 问题 ， 这 些 VMware 知 识 库 文 章 有 每 一 步 的 详细 步 又， 帮助 管理 员 一 步 步 地 解决 实际 问题 。 


8.2.1 Virtual SAN 对 存储 硬件 的 要 求 


在 这 一 点 上 ， 首 先 需 要 确保 的 一 点 是 Virtual SAN 所 使 用 的 存储 控制 器 以 及 内 存盘 或 硬盘 ， 都 必须 在 VMware Virtual SAN 
的 硬件 兼容 性 列表 之 中 。 同 时 ， 它 们 的 固件 和 驱动 程序 版 本 也 应 该 和 硬件 兼容 性 列表 中 所 要 求 的 版 本 一 致 。 


另 一 个 需要 考虑 的 因素 是 缓存 层 内 存盘 的 级 别 (Class) ， 关 于 每 个 内 存盘 的 级 别 也 可 以 在 Virtual SAN 的 硬件 兼容 性 列表 之 
中 找到 。 闪 存盘 的 级 别 越 高 ， 它 的 性 能 越 好 ， 也 训 ® 意 味 着 Virtual SAN 的 性 能 可 能 更 好 。 


另外 需要 考虑 的 几 点 讨论 如 下 : 


1. 磁 盘 和 直通 模式 或 RAID 模 式 


Virtual SAN 需 要 用 服务 器 的 本 地 磁盘 来 组 建仓 储 集群 。 由 于 这 个 原因 ， 我 们 推荐 将 磁盘 设置 为 直通 模式 (pass- 
through) 。 这 意味 疹 我 们 不 需要 企 存 储 控制 器 上 将 每 一 个 磁盘 都 设置 为 RAID0 蛋 式 。 


但 是 ， 不 是 所 有 在 Virtual SAN 的 硬件 兼容 性 列表 之 中 的 仓储 控制 器 都 文 持 直通 模式 。 在 这 种 情况 下 ， 我 们 融 需 要 在 仓储 控 
制 器 上 将 每 个 磁盘 设置 为 RAID0 模 式 ， 使 每 个 RAID 组 只 包含 单个 磁盘 。 创 建 好 RAID0 以 后 ，ESXi 主 机 融 可 以 及 现 这 些 本 地 磁盘 
了 。 值 得 注意 的 是 ， 这 里 所 说 的 RAID0 和 Virtual SAN 中 通过 策略 将 对 和 象 条 市 化 而 实现 的 RAID0 是 完全 不 同 的 两 回 事 。 这 里 所 说 
的 创建 RAIDO 是 指 在 硬件 层面 通过 存储 控制 器 对 物理 磁盘 和 直接 创建 的 RAID， 它 可 以 在 BIOS 中 设置 ， 也 可 以 通过 一 些 第 三 方 工具 
来 设置 。 


推荐 采用 直通 模式 的 原因 是 ， 在 需要 蔡 换 磁盘 时 ， 操 作 会 非常 简单 ， 只 需要 将 蔡 换 的 磁盘 插入 服务 器 ，ESXi 主 机 就 能 立刻 发 
现 新 插入 的 磁盘 ， 而 不 需要 任何 其 他 操作 。 另 外 ， 采 用 直通 模式 时 ， 硬 件 的 S.M.A.R.T 也 能 被 ESXi 所 接收 ， 而 采用 RAID 模 式 时 则 
很 难 接收 到 S.M.A.R.T 信 息 。 


以 HP 为 例 ， 我 们 来 查看 Virtual SAN 的 硬件 兼容 性 列表 。 从 图 8-6 中 可 以 看 出 ， 对 于 HP 的 存储 控制 器 ， 有 的 支持 直通 模式 ,， 
有 的 只 支持 RAID 模 式 ,。 
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HP Smart Array P822 Virtual SAN 


RAID 0 


Device Type: SAS 1020 
VID: 103c SVID: 103c 
DID: 323b SSID: 3353 


ESXi 5.5 U2 
ESXi 5.5 U1 


Smart Array P420i Virtual SAN 


RAID 0 


Device Type: SAS 
VID: 103C SVID: 103c 
DID: 3238 SSID: 3354 


ESXi 5.5 U2 
ESXi 5.5 U1 


Smart Array P420 Virtual SAN 


RAID 0 


Device Type: SAS 
VID: 103C SVID: 103c 
DID: 3238 SSID: 3351 


ESXi 5.5 U2 
ESXi 5.5 U1 


Smart Array P220i 


Virtual SAN 
RAID 0 


Virtual SAN 
Pass-Through 


Virtual SAN 
Pass-Through 


Device Type: SAS 
VID: 103C SVID: 103c 
DID: 3238 SSID: 3355 


Device Type: SAS 
VID: 1000 SVID: 1590 
DID: 0087 SSID: 0043 


Device Type: SAS 
VID: 1000 SVID: 1590 


ESXi 5.5 U2 
ESXi 5.5 U1 


ESXi 5.5 U2 
ESXi 5.5 U1 


ESXi 5.5 U2 
ESXi 5.5 U1 


DID: 0087 SSID: 0044 


Virtual SAN 
Pass-Through 


Device Type: SAS 
VID: 1000 SVID: 1590 
DID: 0087 SSID: 0041 


ESXi 5.5 U2 
ESXi 5.5 U1 





图 8-6 Virtual SAN 硬 件 兼容 性 列表 
2. 查 看 仓储 控制 器 的 队列 深度 


经 常 查看 Virtual SAN 的 状态 ， 从 ESXi 的 角度 去 看 是 否 一 切 设置 都 处 于 正常 状态 是 一 个 好 习惯 。 其 中 一 个 很 关键 的 需要 检查 

的 项 目 残 是 ， 坦 看 存储 控制 器 的 队列 深度 ， 因 为 如 果 仓 储 控制 器 的 队列 深度 不 够 大 ， 那 么 融会 对 Virtual SAN 的 性 能 有 很 大 的 负 

影响 。 在 每 一 次 更 新 存储 控制 器 的 固件 之 后 ， 都 需要 重新 查看 存储 控制 器 的 队列 深度 ， 确 保 队 列 深度 没有 被 减 小 到 一 个 不 可 接 
受 的 值 。 我 们 已 经 友 现 过 这 种 案例 ， 当 更 新 存储 控制 器 的 固件 后 ， 其 队列 深度 被 大 大 减 小 。 


3. 通 过 esxtop 查 看 队列 深度 


查看 仓储 控制 器 的 队列 深度 最 简单 的 万 法 是 一 个 ESXi 的 命令 行 工 具 : esxtop。 当 esxtop 局 动 后， 首先 按 (D) 键 切换 到 查看 
磁盘 的 模式 。 然 后 ， 按 (F) 键 来 添加 更 多 的 展示 信息 ， 再 按 (D) 键 来 选择 加 入 队列 深度 的 信息 展示 。 操 作 完 成 后 ， 按 回 车 键 


回 到 信息 展示 页 面 ， 这 个 时 候 ， 输 出 信息 里 就 多 了 一 列 ， 如 图 8-7 所 示 的 AQLEN ， 是 适配器 队列 深度 (adapter queue 
depth) 的 简称 。 


NPTH AQLEN & LL READS/s WRITES/s MBREAD/s RES DAVG/ cmd KAVG/ cmd GAVG/cmd QAVG/cmd 





图 8-7 通过 esxtop 查 看 队列 深度 


需要 注意 的 是 ， 这 个 命令 需要 在 每 人 台 ESXi 主 机 上 重复 ， 来 查看 每 人 台 ESXi 主 机 上 的 存储 控制 器 的 队列 深度 。VMware 推 荐 的 队 
列 深度 最 小 为 256， 如 果 查 看 到 的 AQLEN 值 小 于 256， 那 么 首先 需要 确认 存储 控制 器 是 否 在 Virtual SAN 的 硬件 兼容 性 列表 之 
中 ， 然 后 再 查看 固件 版 本 和 驱动 程序 版 本 是 人 否 匹 配 。 在 每 次 更 新 固件 版 本 后 ， 也 需要 检查 队列 深度 的 值 是 否 减 小 了 。 


下 面 介绍 另外 一 种 查看 队列 深度 的 万 法 。 


esxcfg-info -s | grep “==+SCSI Interface" -A 18 


尽管 这 条 命令 看 起 来 复杂 ， 但 它 是 查看 设备 (不 仪 包括 仓储 控制 器 ， 还 包括 磁盘 ) 队列 深度 的 一 种 最 快 的 万 法 ， 只 需要 一 条 
命令 ， 而 不 是 在 esxtop 里 通过 不 停 的 导航 来 查看 。 下 面 是 这 条 命令 输出 信息 的 3 个 例子 。 


HP410i 控 制 器 ， 在 输出 信息 中 的 名 字 为 vmhba1。 


==+SCSI Interface 


本 vmhba1 
本 sas .5001438013ebe0d0 
| hpsa 

{DC a aaa a 1011 
人 SR false 


==+PCI Device 


| a SOMO Eea anea 4-8 dw EA AOS a REO . .0x0000 
| . 0x05 
flee Li abere OPER EROS ares eva aie MUT ees 0x00 
[=-= Punt LOB. vo red acad oe x hy Rae EORR wR HOTS 0x00 
|----Runtime Owner................... ees ....vmkernel 
|----Has Configured Owner................. ...false 
|----Configured Owner................. eee 
| «--- Vendo» Tiina sad aou RES Fos ER n “LOS 
| 0x323a 
|----Sub-Vendor Id.......................... 0x103c 
|----Sub-Device Id..... lle. seses 0x3245 
[2 Wendok Name Hewlett-Packard Company 


FusionlIO 的 PCI-E 站 存盘， 在 输出 信息 中 的 名 字 为 folom0。 


\==+SCSI Interface 


NE fioiomO0 
Lacu ————————  ———— unknown. fioiom0 
| iomemory-vsl 
[2-2--imaus DODGED: edu aw KR a CR OS SS ROCESS KS OS 5000 
| false 
\==+PCI Device : 

SSSR s M———————m 0x0000 

| 二 0x0b 

人 0x00 

| 有 0x00 

|----Runtime Owner. eee hs vmkernel 

|----HasB Configured OW iex 9 edna sie WA QC COR 8 false 

|----Configured Owner.......................... ...... 

[eS TIO out 75s ok ees YESS ER EONS a a Fares Oxlaed 

ELI: TO a E a E E a a aa Da E ANa S 0x2001 

|----Sub-Vendor I eee ee ee ee eee eee Oxlaed 

| 0x2001 

ls es a si a a aaa aE AA R R Fusion-io 


某 个 LSI 存 储 控制 器 ， 队 列 深度 为 600。 


\==+SCSI Interface 


本 vmhbal 
| sas .500605b007460710 
| mpt2sas 

| ----Queue Depth..................................... 600 

ne Va e aa E a a e A e a e R false 


\==+Data Integrity Information 


|---Protectlon Mean sy sr 0x00000000 
| 二 NO GUARD SUPPORT 
\==+PCI Device : 

|----Segment.......... a a ce ee ee hh 0x0000 


| 0x00 


| 0x00 
| ----Runtime Owner................................ vmkernel 
|----Has Configured Owner............. eee eee false 


|----Configured Owner ............................. 


|----Vendor Id.................................... 0x1000 

| ----Device Id.................................... 0x0087 

=r I. peenes s seade alesana ae A 0x1000 

| 

-—-—--Bub-Deuice IG.iosaw oo ee soos RR 40809099 9c 0x3020 

| 

|----Vendor Name.................................. LSI Logic / Symbios Logic 
|----Device Name.................................. LSI2308 2 
和 263 

---- Device Class Name.............................。 Serial Attached SCSI controller 
| 


8.2.2 配置 Virtual SAN 存 储 时 的 其 他 注意 事项 


前 文 已 经 强调 了 确保 硬件 型 号 、 固 件 、 驱 动 程序 在 Virtual SAN 的 硬件 兼容 性 列表 之 中 的 重要 性 ， 这 一 节 再 介绍 一 些 额 外 的 
注意 事项 ， 它 们 对 于 成 功 地 配置 Virtual SAN 同 样 重要 。 


1. 存 储 控制 器 缓存 


当 涉 及 存储 控制 器 上 的 读 写 缓存 时 ， 不 同 的 硬件 提供 商会 提供 不 同 的 万 案 和 推荐 配置 。 有 的 存储 控制 器 在 出 厂 时 ， 读 写 缓存 
都 是 启用 的 ， 但 是 用 尸 可 以 把 它们 都 禁用 。 有 的 硬件 提供 商 甚至 会 建议 将 写 缓 存 蔡 用 ， 但 是 保留 读 缓存 。 


VMware 建 议 在 Virtual SAN 使 用 的 存储 控制 器 上 将 读 、 写 缓存 都 设置 为 禁用 。 但 是 如 果 一 个 存储 控制 器 上 的 读 、 写 缓存 不 
能 完全 被 禁用 ， 那 么 就 设置 为 100% 读 缓存 ， 这 同样 可 以 有 效 地 禁用 写 缓存 。 


有 的 硬件 提供 商 提 供 了 一 些 第 三 方 工具 来 设置 存储 控制 器 的 各 个 配置 ， 包 括 缓存 配置 。 但 是 对 于 某 些 存 储 控制 器 并 没有 设置 
工具 ， 这 时 候 残 需要 进入 BIOs 中 进行 设置 。 所 以 ， 如 果 需 要 在 集群 运行 状态 下 进行 设置 ， 残 需要 设置 好 维护 窗口 ， 将 ESXi 主 机 
进入 维护 模式 进行 设置 。 


2. 关 于 HP 全 | 闪存 的 Smart Path 设 置 


HP 对 于 其 内 存盘 的 Smart Path 的 机 制 的 描述 是 ， 它 可 以 提高 基于 SSD 闪 存盘 的 HP 服务 器 中 存储 控制 器 的 性 能 。HP 闪 存 的 
Smart Path 技 术 人 允许 某 些 特 定 的 读 写 操作 绕 过 固件 层 的 正常 读 写 路 径 ， 而 采用 一 种 加 速 的 读 写 模式 ， 称 为 HP SSD Smart, 
VMware 建 议 对 于 用 于 Virtual SAN 的 所 有 HP 控制 器 ， 都 禁用 Smart Path 这 一 功能 。 


如 果 HP 全 闪存 的 Smart Path 被 启用 了 ， 那 么 很 可 能 遇 到 Virtual SAN 存 储 不 可 访问 的 问题 ， 并 且 在 VMkernel 日 志 里 ,会 
现 大 量 类 似 如 下 的 信息 : 


2014-09-24T13:32:47.184Z cpu12:33081)ScsiDeviceIO: 2324: Cmd(0x412e803f0e00) 
0x28, CmdSN 0x1617cd from world 0 to dev "naa.600508b1001c9dc52f1be65fc447d5 
ca" failed H:0xc D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. 

2014-09-24T13:32:47.184Z2 cpu12:33081)NMP: nmp ThrottleLogForDevice:2321: Cmd 0x28 
(0x412e88d04b80, 0) to dev "naa.600508b1001c9dc52fl1be65fc447d5ca" on path 
"vmhba0:C0:T0:L2" Failed: H:0xc D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. 
Act: NONE 


这 个 示例 显示 ， 一 个 SCSI 读 命令 (Cmd0x28) 在 ID 为 “naa.600508b1001c9dc52f1be65fc447d5ca” 的 盘 不 能 完成 ， 这 
个 错误 信息 残 是 因为 HP 全 闪存 的 Smart Path 功 能 被 启用， 如果 这 项 功能 被 茶 用 ， 那 么 这 个 错误 信息 也 残 不 再 出 现 。 


但 是 ， 目 前 没有 ESXCLI 工 具 可 以 用 来 查看 这 项 功能 是 否 被 局 用 了 。 管 理 员 需 要 进入 BIOS 中 得 看 ， 或 者 采用 HP 提供 的 某 些 工 
具 ， 如 hpssacli 这 一 合 令 行 工具 ， 天 于 这 一 工具 的 使 用 可 以 查看 HP 的 相 天 文档 。 


里 然 这 里 只 是 以 HP 全 闪存 的 Smart Path 功 能 作为 一 个 例子 来 说 明 存 储 控制 器 配置 的 重要 性 ， 但 是 对 于 其 他 提供 商 (如 DELL 
或 LS1) 的 存储 控制 器 ， 我 们 同样 需要 做 类 似 的 考虑 。 一 个 最 简单 的 原则 束 是 ， 让 存储 控制 器 的 配置 越 人 简单 越 好 ， 除 非 VMware 
的 拉 术 支持 人 员 明 确 地 要 求 局 用 某 项 功能 ， 否 则 ，Virtual SAN 的 性 能 可 能 会 大 大 地 受到 影响 ， 甚 至 会 影响 Virtual SAN 的 正常 使 
用 。 


3. 检 测 配 置 为 RAI1D0 模 式 的 内 存盘 


前 文 提 到 ， 某 些 存 储 控制 器 不 叉 持 将 磁盘 设置 为 直通 模式 直接 暴露 给 ESXi 主 机 ， 而 只 能 设置 为 RAID0 模 式 。 在 这 种 情况 
下 ，ESXi 主 机 不 能 正确 地 将 内 存盘 识 别 为 内 人 存 盘 ， 而 是 将 它 识 别 为 机 械 硬 盘 。 人 在 这 种 情况 下 ， 融 需要 管理 员 手 动 地 将 这 些 磁 盘 标 
记 为 内 存盘 。 


从 Virtual SAN6.0 版 本 开始 ， 在 vSphere 网 页 客 尸 端 上 加 入 了 一 个 新 功能 ， 人 允许 管理 员 通 过 图 形 界面 方便 地 将 一 个 磁盘 标记 
为 内 存盘 。 在 vSphere 网 页 客 尸 端 上 ， 进 入 Virtual SAN 页 面 ， 选 择 磁 盘 管 理 ， 并 且 选 择 一 个 您 希望 标记 为 内 存盘 的 磁盘 ， 这 个 
时 候 ,， 一 个 “F” 形 的 图 标 束 会 出 现 ， 单 击 它 束 可 以 将 某 个 磁盘 标记 为 内 存盘 。 如 图 8-8 所 示 。 


所 以 ， 当 及 用 RAID0 模 式 配 置 磁 盘 ， 并 且 ESXi 主 机 不 能 正确 识别 出 内 存盘 时 ， 很 有 可 能 需要 在 此 处 手动 将 其 标记 为 内 存盘 。 


Disk group (0200080000600508b1001c577e11dd042e142a583f4c4147494341): Disks 


alme e [m]. Show: | Inuse (7) | v 
Name mE Capacity Virtua! SAN Health Status Operational... Transport Type 

HP Serial Attached SCSI Disk (naa.600508b1001c577e11dd042... 186.28 GB Healthy Mounted Block Adapter 

CA HP Serial Attached SCSI Disk (naa.600508b1001c19335174482... 136.70 GB Healthy Mounted Block Adapter 

æA HP Serial Attached SCSI Disk (naa.600508b1001ca36381622ca... 136.70 GB Healthy Mounted Block Adapter 

GA HP Serial Attached SCSI Disk (naa.600508b1001cb2234d6ff4f7b... 136.70 GB Healthy Mounted Block Adapter 


G3 HP Serial Attached SCSI Disk (naa.600508b1001c0cc0ba2a3806... 136.70 GB Healthy Mounted Block Adapter 
GA HP Serial Attached SCSI Disk (naa.600508b1001c07452525968... 136.70 GB Healthy Mounted Block Adapter 
G3 HP Serial Attached SCSI Disk (naa.600508b1001c10548f5105fc... 136.70 GB Healthy Mounted Block Adapter 





A8-8 ”标记 磁盘 为 闪存 盘 


8.2.3 ”检查 Virtual SAN 存 储 的 限制 


如 下 这 条 命令 可 以 用 来 检查 Virtual SAN 和 存储 方面 的 限制 ， 它 在 RVC 里 运行 ， 可 以 针对 每 一 个 Virtual SANSA, MESA 
群 的 信息 。 


vsan.check limits 


这 个 示例 展示 了 在 RVC 中 运行 这 条 命令 时 的 输出 结果 。 


10.110.186.46 


ASSOCS: 
Sockets: 
Clients: 


Owners: 


ASSOCS: 
Sockets: 
Clients: 


Owners: 


178/45000 
56/10000 
3 

26 


146/45000 
55/10000 
9 

17 


Components: 90/9000| 

naa .6c81£660d0222f001c61d4e66b90480b: 20% Components: 7/N/A 
naa.6c81£660d0222f001c61d4ef6c26daa6: 31% Components: 7/N/A 
naa. 6c81f660d0222f001c61d4ec6bf426ca: 33% Components: 11/N/A 
naa. 6c81£660d0222f001c61d4£56c795803: 25% Components: 6/N/A 
naa.6c81£660d0222f001c61d4e46b7667a5: 28% Components: 6/N/A 
naa .6c81£660d0222f001c61d4£36c5d3208: 36% Components: 6/N/A 
naa .6c81£660d0222f001c61d4e96bc08F2c: 25% Components: 8/N/A 
naa .6c81£660d0222 £001c61d4f66c916115: 30$ Components: 10/N/A 
naa.6c81f66080222£001c61d4ea6bda913b: 6% Components: 8/N/A 
naa. 6c81£660d0222 f001c61d4ee6c0eb689: 3% Components: 8/N/A 

naa .6c81£660d0222£001c61d4e36b6f13d6: 0% Components: 0/N/A 
naa. 6c81£660d0222 £001c61d4e76ba74£5e: 24% Components: 6/N/A 
naa. 6c81£660d0222 £001c62302490be868d: 0% Components: 0/N/A 
naa.6c81£660d0222f001c61d4f16c428dca: 18% Components: 7/N/A 
Components: 69/9000 

naa.6c81f66080223e001c623al4bc2f81eb: 12% Components: 6/21834 
naa. 6c81£660d0223e001c623a16bc507228: 24% Components: 6/21834 
naa.6c81£660d0223e001c623al0bbeb0aac: 77% Components: 0/0 
naa.6c81f66080223e001c623a16bc487d72: 65% Components: 5/21834 
naa.6c81f66080223e001c623a13bc201048: 21% Components: 6/21834 


| | naa.6c8lf660d0223e001c623allbcOülbbbf: 23% Components: 6/21834 | 


| | naa.6c8lf660d0223e001c623al7bc581202: 21% Components: 5/21834 | 


| 

| 

| | | naa.6c8lfé60d0223e001c623allbbfaó634f: 9% Components: 6/21834 | 
| | | naa.6c8lf660d0223e001c623alÜbbf31c2e: 66% Components: 0/0 | 
| | | naa.6c8lf660d0223e001c623al4bc27802a: 8% Components: 7/21834 | 
| | | naa.6c8lf660d0223e001c623al5bc3fa4b0: 37% Components: 5/21834 | 
| | | naa.6c8lf660d0223e001c623al2bcl0f3b0: 29% Components: 7/21834 | 
| | | naa.6c8if660d0223e001c&23al5bc37dce5: 27% Components: 4/21834 | 
| | | naa.ó6c8lf&60d0223e001c623al2bc0921f1: S$ Components: 6/21834 | 
| 10.110.185.44 | Assocs: 3130/45000 | Components: 112/5000 | 
| | Sockets: 68/10000 | naa.&6c8lf680dü23iffüü01c6232158dadÜ6ee: 16% Components: 8/N/A | 
| | Clients: 9 | naa.6c8lf680d0231ff001c6232128d85abb9: 3% Components: 12/N/A | 
| | Cwners: 64 | naa.6c8ilf680d023£f001c623121384d97896f: 11% Components: 11/N/A | 
| | | naa.6c8lf660d023£f001c6232168dc352ae: 10% Components: 10/N/A | 
| | | naa.6c8lf660d023£f001c6232118d73ee0c: 15% Components: 15/N/A | 
| | | naa.6c8lf680d023ffÜ001c6232148dS9e86bd: 24% Components: 10/N/A | 
| | | naa.6c8lf660d023£f001c6232168dbbafbl: 2% Components: 7/N/A | 
| | | naa.6c8lf660d023ff001c6232148da585b4: 32% Components: 10/N/A | 
| | | naa.6c8lf660d023ff001c6232158db488259: 12% Components: 10/N/A | 
| | | naa.é6c8ifé6ü0d)023ffü01c6232138d508bfd: 35% Components: 7/N/A | 
| | | naa. 6c81f660d023££001c6232128d7bbO73: 27% Components: 6/N/A | 
| | | naa.6c8lf660d023£f001c6232118d6ccde4: 0$ Components: O/N/A | 
| | | naa.6c8if660d023ff001c6232178dcbilbfil: 3& Components: 6/N/A | 
| | | naa.6c8if66ü0d023f£f001c6232108d6567aa: 0& Components: O/N/A | 
| 18.110.185.45 | 202/ 45000 | Components: 130/5000 | 
| | 59/10000 | naa.6c81f660d02235001cddcc8d8c59e3el: 43% Components: 6/N/A | 
| | Clients: 3 | naa.6c8lf6850d02235001cddcc8f8c735240: 13% Components: 13/N/A | 
| | Owners: 21 | naa.6c8if680d02235001cddccB868be5c5d5: 28% Components: 18/N/A | 
| | | naa.6c8lf660d02235001cddcc8a8c2badÜ04: 9% Components: 6/N/A | 
| | | naa. 6c8lf660d02235001cddcc898cl3ca39: 17% Components: 17/N/A | 
| | | naa.6c8lf660d02235001cddcc8c8cd432blf: 44% Components: 5/N/A | 
| | | naa. 6c8lf660d02235001cddcc838bb93ef8: 13% Components: 16/N/A | 
| | | naa. 6c8lf660d02235001cddcc828bab3e64: 35% Components: 14/N/A | 
| | | naa.6c8lf660d02235001cddcc818b8f5cel: 0$ Components: Ö/N/A | 
| | | naa.6c8ifé60d02235001cddcc328c59d95f4: 23& Components: 7/N/A | 
| | | naa.é6c8ifé60d02235001cddcc918c8c0elài: 66% Components: 7/N/A | 
| | | naa.é6c8ifé60d02235001cddcc938cb5912a: 10% Components: 7/N/A | 
| | | naa.6c8if660d02235001cddcc818ba58470: 0& Components: O/N/A | 
| | | naa.6c8if660d02235001cddcc848bcd9571: 6% Components: 14/N/A | 
中 一 一 一 一 一 一 一 一 一 一 一 一 中 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 中 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


对 于 上 面 示例 中 RDT 的 讨论 ， 已 经 在 上 一 节 中 介绍 过 了 。 这 一 节 主 要 讨论 最 后 一 栏 ， 对 于 组 件数 量 的 限制 。 对 于 Virtual 
SAN5.5 版 本 来 况 ， 限 制 每 全 ESXi 主机 上 最 多 能 放置 3000 个 组 件 。 对 于 Virtual SAN6.x 版 本 来 说 ， 限 制 每 侣 ESXi 主机 上 最 多 能 放 
置 9000 个 组 件 ， 如 上 面 示例 中 所 示 。 


同时 ， 示 例 中 还 展示 了 当前 已 经 部 署 的 组 件数 量 ， 以 及 每 个 磁盘 的 利用 率 ， 
群 的 利用 率 。 


它 可 以 帮助 我 们 很 好 地 分 析 整 个 Virtual SAN 集 


对 于 管理 员 来 说 ， 我 们 需要 经 常 查看 这 一 项 目 ， 以 检查 Virtual SAN 中 存储 的 使 用 量 是 否 已 经 超过 了 系统 的 限制 。 


8.2.4 ”通过 ESXCLI 检 查 存 储 


这 一 节 将 讲述 如 何 通 过 ESXCLI 命 令 行 工具 检查 Virtual SAN 集 群 的 存储 层面 。 


首先 ， 管 理 员 需 要 确保 ESXi 主 机 能 够 正确 地 识别 出 磁盘 ， 并 检查 磁盘 的 各 项 配置 信息 是 人 否 正确 ， 此 时 可 以 使 用 “esxcli core 


storage device list” 这 条 命令 。 
1.esxcli core storage device list 


从 ESXi5.5 版 本 到 6.x 版 本 ， 这 条 命令 的 输出 信息 有 较 大 的 不 同 。 例 如 ， 在 6.0 版 本 中 ， 增 加 了 一 些 如 VVOL 和 DIX/DIF 的 信 
， 但 是 这 些 额 外 的 输出 对 于 我 们 使 用 Virtual SAN 没 有 影响 ， 所 以 对 这 些 信 息 不 做 讨论 。 


命令 的 示例 输出 如 下 : 


# esxcli storage core device list -d naa.600508b1001c626dcb42716218d73319 
naa.600508b1001c626dcb42716218873319 

Display Name: HP Serial Attached SCSI Disk (naa.600508b1001c626dcb42716218873319) 

Has Settable Display Name: true 

Size: 139979 

Device Type: Direct-Access 

Multipath Plugin: NMP 

Devfs Path: /vmfs/devices/disks/naa.600508b1001c626dcb42716218d73319 

Vendor: HP 

Model: LOGICAL VOLUME 

Revision: 3.66 

SCSI Level: 5 

Is Pseudo: false 

Status: degraded 

Is RDM Capable: true 

Is Local: false 

Is Removable: false 

Is SSD: false 

Is VVOL PE: false 

Is Offline: false 

Is Perennially Reserved: false 

Queue Full Sample Size: O0 

Queue Full Threshold: 0 

Thin Provisioning Status: unknown 

Attached Filters: 

VAAI Status: unknown 

Other UIDs: vml.0200060000600508b1001c626dcb42716218d733194c4£47494341 


Is Shared Clusterwide: true 

Is Local SAS Device: false 

Is SAS: true 

Is USB: false 

Is Boot USB Device: false 

Is Boot Device: false 

Device Max Queue Depth: 256 

No of outstanding IOs with competing worlds: 32 
Drive Type: unknown 

RAID Level: unknown 

Number of Physical Drives: unknown 
Protection Enabled: false 

PI Activated: false 

PI Type: 0 

PI Protection Mask: NO PROTECTION 
Supported Guard Types: NO GUARD SUPPORT 
DIX Enabled: false 

DIX Guard Type: NO GUARD SUPPORT 
Emulated DIX/DIF Enabled: false 


在 输出 信息 中 ， 有 几 个 点 需要 关注 。 首 先 ， 可 以 看 出 ， 这 个 来 自 HP 的 磁盘 被 配置 为 RAIDO 模 式 ， 因 为 其 中 的 “Model” 项 
JJ "Logical Volume" (i248) 。 其 次 ， 有 一 项 “ls SSD: false”， 这 表明 它 不 是 一 个 闪存 盘 ， 如 果 管 理 员 确 认 它 是 一 个 闪 
仔 盘 ， 但 是 ESXi 没 有 将 它 识别 出 来 ， 可 以 采用 上 一 节 的 方法 将 其 标识 为 内 存盘 。 最 后 ， 还 有 一 项 “ls Local: false”， 这 可 能 
起 来 很 奇怪 ， 但 因为 存储 控制 器 是 一 个 SAS 控 制 器 ， 某 些 SAS 控 制 器 允许 多 台 主 机 共享 磁盘 ， 而 这 可 能 会 给 Virtual SAN 带 来 问 
题 。 为 了 确保 安全 ，ESXi 主 机 在 处 理 这 种 类 型 的 控制 器 时 很 谨慎 地 将 它 标记 为 非 本 地 盘 。 如 果 管 理 员 确认 这 是 一 个 本 地 盘 ， 也 可 
以 在 vSphere 网 页 客户 端 上 手动 将 其 标记 为 本 地 盘 。 


另外 一 个 值得 注意 的 点 是 ， 在 上 面 的 输出 中 磁盘 的 状态 (status) 显示 为 降级 “degraded”， 这 是 因为 从 主机 到 磁盘 只 有 
单条 路 径 。 如 果 从 主机 到 磁盘 有 多 条 路 径 ， 这 项 状态 就 不 会 显示 为 降级 。 对 于 大 多 数 的 本 地 磁盘 来 说 这 一 项 无 须 担 心 ， 因 为 大 多 
数 情况 下 都 只 有 一 条 路 径 到 本 地 磁盘 。 


下 面 是 另外 一 个 例子 ， 它 显示 了 对 于 Fusion1O 的 某 一 款 PC1-E 类 型 的 内 存盘 运行 以 上 命令 后 输出 的 结果 。 从 这 个 例子 可 以 看 
出 ，ESXi 主 机 能 识别 出 它 是 一 个 内 和 存盘， 并 且 也 认为 它 是 一 个 本 地 磁盘 。 


eul .al5eb52c6f4043b5002471c7886acfaa 
Display Name: Local FUSIONIO Disk (eui.al5eb52c6£4043b5002471c7886ac faa) 
Has Settable Display Name: true 
Size: 1149177 


Device Type: Direct-Access 


Multipath Plugin: NMP 
Devfs Path: /vmfs/devices/disks/eui.al5eb52c6£4043b5002471c7886acfaa 


Vendor: 


Model: 


FUSIONIO 


IODRIVE 


Revision: v1.0 
SCSI Level: 5 


Is Pseudo: false 


Status: 


on 


Is RDM Capable: false 


Is Local: true 


Is Removable: false 


Is SSD: 


true 


Is Offline: false 


Is Perennially Reserved: false 


Queue Full Sample Size: O0 
Queue Full Threshold: O0 


Thin Provisioning Status: yes 

Attached Filters: 

VAAI Status: unknown 

Other UIDs: vm1.0100000000313231304430393235494f44524956 


Is Local SAS Device: false 


Is USB: 


false 


Is Boot USB Device: false 


No of outstanding IOs with competing worlds: 32 


2.esxcli vsan storage list 


这 是 一 条 非常 有 用 的 命令 ， 可 以 用 来 查看 Virtual SAN 所 使 用 磁盘 的 信息 。 在 输出 信息 中 ， 最 令 我 们 感 兴趣 的 是 “| 
CMMDS: true” 这 一 项 ， 它 告诉 我 们 Virtual SAN 已 经 将 这 一 块 磁盘 用 到 Virtual SAN 人 存储 中 ， 这 个 磁盘 的 容量 包含 在 Virtual 


SA N 集群 的 总 容量 里 面 o 


~ # esxcli vsan storage list 
naa.600508b1001cb11f3292fe743a0f32e7 


Device: 
Display 
Is SSD: 
Virtual 
Virtual 
Virtual 


Used by 


In CMMDS: 


Checksum: 


naa.600508b1001cb11f£3292fe743a0f£f382e7 

Name: naa.600508b1001cb11£3292fe743 a0 fd2e7 

false 

SAN UUID: 529cald7-5b66-b2aa-d025-2f9a36717030 

SAN Disk Group UUID: 52349cd9-aacc-3af8-a8d9-b45ea9b3b8bd 
SAN Disk Group Name: naa.600508b1001c9c8b5f6f0d7a2be44433 
this host: true 

Crue 

1624780165303985407 


Checksum OK: true 
Emulated DIX/DIF Enabled: false 


««truncated»» 


3.vdq 


这 条 命令 可 以 用 来 查看 Virtual SANAAA KA, CALA mR T RIXEESXIZER VERS RERE A E E TARH. 


在 下 面 的 示例 中 ， 有 一 个 磁盘 组 ， 它 包含 1 块 内 存盘 和 7 块 机 械 硬盘 。 当 有 市 着 磁盘 的 SCSI 标 识 符 (如 NAA ID) 的 错误 出 现 
时 ， 这 个 命令 束 很 有 用 ， 它 可 帮 您 查看 市 着 这 个 特定 磁盘 标识 符 的 磁盘 属于 哪 一 个 磁盘 组 。 


~ # vdq -iH 
Mappings: 
DiskMapping[0]: 

SSD:  eui.al15eb52c6f4043b5002471c7886acfaa 
MD: naa.600508b1001c4b820b4d80f9f8acfa95 
MD: naa.600508b1001c4d41121b41182fa83be4 
MD: naa.600508b1001c846c000c3d9114ed71b3 
MD: naa.600508b1001c258181f0a088f6e40dab 
MD: naa.600508b1001cc426a15528d121bbd880 
MD: naa.600508b1001c51f3a696feO0bbbcb5096 
MD: naa.600508b1001cadff5d80ba7665b8f09a 


下 面 这 条 命令 可 以 帮助 管理 员 查 看 某 个 磁盘 是 人 否 正 在 被 Virtual SAN 所 使 用 ， 如 果 它 没有 被 Virtual SAN 所 使 用 ， 这 条 命令 
会 输出 其 原因 。 一 般 来 说 ， 这 是 因为 磁盘 曾经 锐 使 用 过 ， 并 且 磁 盘 上 和 存在 分 区 。 当 Virtual SAN 不 能 目 动 添加 磁盘 到 磁盘 组 中 去 
的 时 候 ， 它 能 帮助 我 们 确认 磁盘 上 是 否 存 在 分 多。 如 下 面 的 示例 所 示 : 


~ 4 vdq -qH 
DiskResults: 
DiskResult[0]: 
Name:  naa.600508b1001c4b820b4d80f9f8acfa95 
Virtual SANUUID:  52c1b588-81f5-cdc7-f4a4-771fbcó6f78de 
State:  In-use for Virtual SAN 
Reason:  Non-local disk 
IsSSD?: 0 
ISPDL?: 0 


««truncated»» 


DiskResult[10]: 
Name:  mpx.vmhba32:CO0:T0:L0 
Virtual SANUUID: 
State:  Ineligible for use by Virtual SAN 
Reason: Has partitions 
ISSSD?: 0 
ISPDL?: 0 


DiskResult[12]: 
Name: eui.al5eb52c6f£4043b5002471c7886acfaa 
Virtual SANUUID:  52c62b40-77a5-7a06-21ec-decd04e21fef 
State:  In-use for Virtual SAN 
Reason: None 
IsSSD?: 1 
IsPDL?: 0 


在 输出 中 ， 其 中 第 二 个 磁盘 的 状态 信息 显示 为 不 能 被 Virtual SAN 所 使 用 “Ineligible for use by Virtual SAN" ， 对 于 它 的 


原因 ， 描 述 为 存在 分 区 “Has partitions”。 事 实 上 ， 这 是 一 块 专门 用 作 ESXi 启 动 盘 的 磁盘 ， 它 当然 不 应 该 被 Virtual SAN 所 使 
用 。 但 是 ， 从 这 个 示例 也 可 以 看 出 ， 当 除了 ESXi 启 动 盘 之 外 的 其 他 磁盘 也 不 能 被 Virtual SAN 所 使 用 的 时 候 ， 管 理 员 应 该 使 用 此 
命令 查看 其 是 否 存 在 分 区 


4.vdq-isCapacityFlash 


在 Virtual SAN6.x 版 本 中 ， 对 于 vdq 命 令 有 所 增强 ， 加 入 了 检测 磁盘 是 人 否 广 持 “ 校 验 和 ”信息 。 同 时 ， 如 果 一 个 内 存盘 被 用 
作 容 量 层 ， 它 可 以 告诉 用 户 某 块 磁盘 是 用 于 容量 层 或 缓 仔 层 。 


~ # vdq -qH 
DiskResults: 
<<truncated>> 
DiskResult[14]: 
Name: naa.50015178f36363ca 
Virtual SANUUID: 52c97eb4-125e-7b56-d358-7cf3e6c8cbal 
State:  In-use for Virtual SAN 
ChecksumSupport : 0 
Reason: None 
ISSSD?: 1 
IsCapacityFlash?: 1 
ISPDL?: 0 


ix rl, KRR ERFA, FHECe-RATSN Virtual SAN 中 容量 层 的 内 存盘 。 
5.esxcli storage core device stats get 


这 条 命令 对 于 帮助 管理 员 确 认 Virtual SAN 中 的 磁盘 是 否 友 生 错 误 很 有 帮助 。 在 命令 的 输出 中 ， 我 们 应 该 查看 失败 的 读 写 操 
作 数 量 和 失败 的 读 写 块 数量 。 在 正音 情况 下 ， 其 中 的 各 个 失败 数量 都 应 该 是 0。 如 示例 中 所 示 ， 如 果 有 任何 值 大 于 0， 那 么 惑 意 
味 着 在 硬件 层面 可 能 有 错误 友 生 。 如 果 在 VMkernel 日 志 里 出 现 了 一 些 错 误 或 告警 信息 ， 并 且 这 些 信息 指出 Virtual SAN 中 出 现 
了 失败 的 读 写 操作 ， 那 么 管理 员 丈 应 该 通过 运行 这 条 命令 来 查看 物理 磁盘 的 状态 。 


~ d esxcli storage core device stats get 
naa.600508b1001c4b820b4a880f9f8acfa95 

Device: naa.600508b1001c4b820b4880f9f8acfa95 

Successful Commands: 37289717 

Blocks Read: 55103809 

Blocks Written: 1108650774 

Read Operations: 2469633 

Write Operations: 34805069 

Reserve Operations: 1 

Reservation Conflicts: 0 

Failed Commands: 14621 

Failed Blocks Read: 0 

Failed Blocks Written: 0 

Failed Read Operations: O0 

Failed Write Operations: O0 


Failed Reserve Operations: O0 


naa.600508b1001c4d41121b41182fa83be4 
Device: naa.600508b1001c4d41121b41182fa83be4 
Successful Commands: 36336511 
Blocks Read: 25348281 
Blocks Written: 1122279506 
Read Operations: 1104872 
Write Operations: 35216624 
Reserve Operations: 1 
Reservation Conflicts: 0 
Failed Commands: 14621 
Failed Blocks Read: 0 
Failed Blocks Written: 0 
Failed Read Operations: 0 
Failed Write Operations: 0 


Failed Reserve Operations: 0 


8.2.5 ”通过 RVC 检 查 存储 
三 将 介绍 一 些 在 RVC 中 使 用 的 命令 ， 这 些 命令 可 以 帮助 管理 员 检 查 Virtual SAN 中 仓储 层面 (包括 物理 磁盘 、Virtual 


SAN 中 的 对 象 和 组 件 等 ) 的 状态 。 


1.vsan.check state 


这 条 命令 会 检查 Virtual SAN 中 是 否 出 现 了 不 可 访问 的 对 象 、 不 可 访问 的 虚拟 机 等 。 它 也 会 检查 是 否 存在 某 些 虚 拟 机 ， 对 这 
些 虚 拟 机 来 说 ，vCenter Server 或 hostd 或 vmx 中 的 信息 处 理 状态 不 同步 。 这 是 一 条 绝 佳 的 命令 ， 因 为 它 可 以 帮助 管理 员 检 查 是 
否 因 为 Virtual SAN 集 群 中 存在 问题 ， 而 造成 了 虚拟 机 或 磁盘 对 象 出 错 的 情况 。 当 这 条 命令 报告 存在 某 些 不 可 访问 的 对 象 或 虚拟 
机 时 ， 管 理 员 可 能 需要 其 他 一 些 检查 对 象 状态 的 命令 ， 才 能 得 出 更 详细 的 错误 信息 ， 其 中 一 条 有 用 的 命令 在 下 面 进行 介绍 。 


2.vsan.disks stats 
对 于 检查 以 下 信息 来 襄 ， 这 条 命令 会 很 有 帮助 : 


容量 层 磁盘 上 的 组 件数 量 (对 于 缓存 层 闪 存盘 ， 数 值 总 是 0) 


` 磁盘 的 使 用 率 (百分比 ) 


ER CAE CAS RA 


/ie-vcsa-03.ie.local/vsan-dc/computers» vsan.disks stats 0 


4-------2--2-2------ +-------------- +----- +----+----------- +------ +------ +---------- + 
| DisplayName | Host | isSSD|Comp| Total | Used |Reserved| Health | 
+---------------- +-------------- +----- +----+----------- +------ +------ +---------- + 
| naa.600XXX5132 | cs-h01.1ocal | SSD | 0 | 186.27GB |O $ |0% | OK (v1) | 
| naa.600XXX054b | cs-h01.1ocal | MD | 12 | 136.50GB | 3$ |2% | OK (v1) | 
| naa.600XXXaf88 | cs-h01.1ocal | MD | 14 | 136.50 GB | 12$ | 11$ | OK (v1) | 
| naa.600XXXa64c | cs-h01.1ocal | MD | 14 | 136.50GB | 2$ |1% | OK (v1) | 
| naa.600XXX8c3c | cs-h01.1ocal | MD | 15 | 136.50GB | 3$ | 2% | OK (v1) | 
| naa.600XXX5237 | cs-h01.1ocal | MD | 14 | 136.50GB | 28 |4% | OK (v1) | 
| naa.600XXXd7a2 | cs-h01.1ocal | MD | 14 | 136.50 GB | 17 $ | 16 % | OK (v1) | 
| naa.600XXX4a46 | cs-h01.1ocal | MD | 14 | 136.50GB | 3$ | 2% | OK (v1) | 


| naa.600XXX583f | cs-h02.1ocal | SSD | O | 186.27 GB | 0O$ |0% | OK (v1) | 

| naa.600XXXaacd | cs-h02.1ocal | MD | 28 | 136.50 GB | 13 $ | 12$ | OK (v1) | 

| naa.600XXX4f59 | cs-h02.1ocal | MD | 18 | 136.50 GB | 10$ | 10$ | OK (v1) | 

| naa.600XXXe603 | cs-h02.1ocal | MD | 11 | 136.50 GB |3% | 3% | OK (v1) | 

| naa.600XXX28be | cs-h02.1ocal | MD | 20 | 136.50 GB | 26$ | 26 $ | OK (v1) | 

| naa.600XXX6b4a | cs-h02.1ocal | MD | 27 | 136.50GB | 9 $ | 88% | OK (v1) | 

| naa.600XXX41bf | cs-h02.1ocal | MD | 12 | 136.50GB | 3$ |2% | OK (v1) | 

+---------------- $-------------- +----- P +------ +------ +---------- + 

| naa.600XXX4433 | cs-h03.1ocal | SSD | 0 | 186.27 GB | 08$ |0% | OK (v1) | 

| naa.600XXX4be4 | cs-h03.1ocal | MD | 0 | 136.50 GB | 1% |0% | OK (v1) | 

| naa.600XXXaad7 | cs-h03.1ocal | MD | O | 136.50 GB | 1% |0% | OK (v1) | 

| naa.600XXX4e83 | cs-h03.1ocal | MD | O | 136.50 GB | 1% |0% | OK (v1) | 

| naa.600XXXf3ef | cs-h03.1ocal | MD | O | 136.50 GB | 1% |0% | OK (v1) | 

| naa.600XXXd2e7 | cs-h03.1ocal | MD | O | 136.50 GB | 1% |0% | OK (v1) | 

| naa.600XXXb92d | cs-h03.local | MD | O | 136.50 GB | 18 |0% | OK (v1) | 

+---------------- +-------------- +----- +----+----------- +------ +------ +---------- + 

| naa.600XXXdcde | cs-h04.1ocal | SSD | O | 186.27 GB | 0% |0% | OK (v1) | 
| naa.600XXX5096 | cs-h04.1ocal | MD | 17 | 136.50 GB | 5$ |48% | OK (v1) | 
| naa.600XXXfa95 | cs-h04.local | MD | 15 | 136.50 GB | 6% | 68% | OK (v1) | 
| naa.600XXXf09a | cs-h04.local | MD | 17 | 136.50 GB | 4% |48% | OK (v1) | 
| naa.600XXX71b3 | cs-h04.1ocal | MD | 16 | 136.50 GB | 3% |3% | OK (v1) | 
| naa.600XxXxX0dab | cs-h04.1ocal | MD | 16 | 136.50 GB | 4% | 48% | OK (v1) | 
| naa.600XXX3be4 | cs-h04.1ocal | MD | 16 | 136.50 GB | 4% |3% | OK (vi) | 
R--------2-------- +-------------- +----- +----- +------------ +------ +------ +--------- + 


/ie-vcsa-03.ie.local/vsan-dc/computers> 


如 果 vsan.check_state 报 告 Virtual SAN 集 群 中 存在 不 可 访问 的 对 象 或 虚拟 机 ， 那 么 就 运行 vsan.disks_stats， 它 可 以 检查 出 
所 有 的 磁盘 是 否 处 于 健康 状态 ， 或 者 某 些 磁盘 是 否 丢 失 或 出 现 了 永久 性 损坏 。 


8.2.6 Virtual SAN 存储 空间 管理 


这 一 芒 将 解释 为 何某 些 操作 (如 将 主机 置 于 维护 模式 或 按 某 种 策略 来 部 署 虚拟 机 ) 会 失败 ， 这 可 能 是 Virtual SANGERS 
空间 限制 所 导致 的 。 


1. 维 护 模 式 


当 需 要 对 Virtual SAN 集 群 进行 一 些 维护 操作 时 ， 有 时 可 能 必须 将 ESXi 主 机 置 于 “维护 模式 ”。 在 进入 维护 模式 时 ， 有 一 个 
选项 可 供用 户 选 择 ， 其 中 一 个 选项 是 “完整 数据 迁移 ”。 如 果 用 尸 选 择 这 一 选项 ， 那 么 有 一 些 情况 需要 被 考虑 到 |: 


Virtual SAN 集 群 中 是 否 还 有 足够 的 ESXi 主 机 ， 来 满足 “允许 的 故障 数 ” 策 略 ? 
在 剩余 的 ESXi 主 机 中 ， 是 否 有 足够 的 容量 层 磁盘 数 ， 来 满足 虚拟 机 的 “条 带宽 度 ”策略 ? 


. 菜 台 主机 进入 维护 模式 并 选择 “完整 数据 迁移 ”时 ， 这 台 主 机 的 数据 者 需要 被 迁移 到 其 他 主机 上 。 那 么 在 其 他 主机 上 是 否 
有 足够 的 空间 来 接纳 这 些 数据 ? 


" 如 果菜 些 虚 拟 机 的 策略 包含 “缓存 预 留 ”， 那 么 剩余 主机 上 的 缓存 容量 能 否 满 足 这 些 “ 缓 存 预 留 ” 策 略 的 要 求 ? 


考虑 到 这 些 问题 ， 束 需要 预先 检查 Virtual SAN 集 群 的 状态 是 否 满 足 成 功 将 ESXi 主 机 置 于 维护 模式 的 要 求 。 在 RVC 中 ， 运 行 
命令 vsan.whatif_host failures， 可 以 测试 Virtual SAN 集 群 是 否 有 足够 的 空间 来 容忍 将 某 台 ESXi 主 机 置 于 维护 模式 的 情况 (可 
以 将 主机 失效 和 将 其 置 于 维护 模式 这 两 种 情况 视 为 相同 ) 。 


/localhost/ie-datacenter-01/computers» vsan.whatif host failures 0 
Simulating 1 host failures: 


4----------------- 4----------------------------- 4---------------------------------- -+ 

| Resource | Usage right now | Usage after failure/re-protection 

+ 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4----------------------------- 4---------------------------------- -+ 

| HDD capacity | 5$ used (3635.62 GB free) | 7$ used (2680.12 GB free) | 
| Components | 3% used (11687 available) | 3% used (8687 available) 

| RC reservations | 0$ used (3142.27 GB free) | 0$ used (2356.71 GB free) | 
+----------------- +----------------------------- + 


/localhost/ie-datacenter-01/computers> 


如 果 这 条 命令 的 输出 指出 Virtual SAN 集 群 中 没有 足够 的 空间 来 容忍 将 一 台 ESXi 主 机 置 于 维护 模式 ， 那 么 可 以 考虑 在 进入 维 
护 模 了 式 时 ， 选 择 “保证 可 访问 性 ”， 而 不 是 选择 “完整 数据 迁移 ”。 但 是 这 样 的 话 ， 虚 拟 机 的 “允许 的 故障 数 ” 集 略 残 不 能 得 到 


保证 (可 以 看 作 已 经 出 现 了 一 台 主 机 故障 ) 。 在 这 种 情况 下 ， 如 果 在 维护 窗口 中 有 另外 一 台 主 机 故障 ， 束 会 有 数据 丢失 的 风险 ， 
所 以 需要 说 愤 对 竺 。 


2. 磁 盘 、 磁 盘 组 或 主机 故障 


当 一 块 缓 仓 层 或 容量 层 磁 盘 出 现 故 障 时 ，Virtual SAN 中 因 故 障 磁盘 影响 的 组 件 会 在 集群 中 的 其 他 正常 磁盘 上 重建 。 出 现 故 


障 后 ， 组 件 既 可 以 在 同一 磁盘 组 的 其 他 磁盘 上 重建 ， 也 可 以 在 其 他 磁盘 组 上 重建 (因为 Virtual SAN 辟 会 在 集群 层面 对 所 有 组 件 
进行 放置 ， 力 求 达到 平衡 ) 。 


当 一 块 缓存 层 磁盘 出 现 故 障 时 ， 由 于 其 所 在 磁盘 组 中 的 所 有 组 件 都 会 受到 影响 ， 因 此 Virtual SAN 会 在 集群 中 寻找 大 量 的 空 
间 来 重建 这 个 磁盘 组 中 的 所 有 组 件 。 如 果 同 一 全 ESXi 主 机 还 有 其 他 磁盘 组 ， 那 么 重建 的 组 件 可 能 会 利用 该 磁盘 组 。 但 这 并 不 是 一 


定 的 ， 重 建 的 组 件 也 可 以 在 其 他 主机 的 其 他 磁盘 组 上 。 


所 以 ， 底 限 就 是 ， 当 一 个 使 用 率 很 高 的 磁盘 组 友 生 故障 后 ， 我 们 必须 确保 整个 Virtual SAN 集 群 中 有 足够 的 空 采 空间 来 进行 
组 件 的 重建 。 否 则 ， 虚 拟 机 存储 策略 束 不 能 得 到 满足 ， 从 而 会 导致 更 严重 的 数据 丢失 等 问题 。 


主机 故障 的 情况 略 有 不 同 。 因 为 Virtual SAN 不 能 确定 某 个 故障 的 ESXi 主 机 是 友 生 了 短暂 的 错误 还 是 友 生 了 永久 性 的 损坏 ， 
所 以 Virtual SAN 会 等 待 60 分 钟 。 这 一 等 待 时 间 由 vsan.clomrepairdelay 这 一 高 级 选项 来 指定 。 如 果 60 分 钟 以 后 故障 主机 还 没有 
RE, Virtual SAN 束 会 开始 将 故障 主机 上 受 影响 的 组 件 在 集群 中 的 其 他 主机 上 进行 重建 ， 以 满足 虚拟 机 存储 策略 。 如 果 故 障 主 
机 上 的 磁盘 组 包含 大 量 虚 拟 机 数据 ， 那 么 在 剩余 的 主机 上 融 需 要 有 大 量 足 够 的 空 末 空 间 来 对 这 些 组 件 进行 重建 。 前 文 搞 述 的 RVC 
中 的 vsan.whatif_host_failures 命 令 束 可 以 用 来 很 好 地 测试 当 一 台 ESXi 主 机 故障 时 ， 集 群 中 是 否 还 有 足够 的 剩余 空间 空间 。 


8.2.7 ”组 件 在 Virtual SAN 中 的 手动 重新 平衡 


在 进行 手动 重新 平衡 之 前 ， 需 要 检查 组 件 在 Virtual SAN 集 群 中 的 分 布 状态 。 


1. 通 过 RVC 检 查 磁 盘 使 用 情况 一 vsan.disks_stats 


/ie-vcsa-Ü06.i1e.local/IE-Virtual SAN-DC/computers> vsan.disks stats 0 


€ eee ————— sees PEE presne I ee + 
| | | |Num | Capacity | | | Status | 
| DisplayName | Host lisssD|Comp| Total |Used — |Reserved| Health | 
$e ee $a ee poss E $e i:ceee- — 4 
| naa.600XXX5132 | cs-h01.1ocal | ssp | 0 | 186.27 GB |0% |0% | OK (v2) | 
| naa.600XXXd7a2 | cs-h01.1ocal | MD | O | 136.69 GE | 0% |0% | OK (v2) | 
| naa.600XXX5237 | cs-hOl.local | MD | 0 | 136.69 GB | 0% |0% | OK (v2) | 
| naa.600XXXa64c | cs-h01.1local | MD | O | 136.69 GB | 0% | 0% | OK (v2) | 
| naa.600XXX054b | cs-h0i.local | MD | 0 | 136.69 GB | O $ |0% | OK (v2) | 
| naa.600XXXaf88 | cs-h01.1ocal | MD | O | 136.69 GB | 0% |0% | OK (v2) | 
| naa.600XxX4a46 | cs-h01.1ocal | MD | O | 136.69 GB | O % | O & | OK (v2) | 
| naa.600XXX8c3c | cs-h0l.local | MD | O | 136.69 GE | 0% | 0% | OK (v2) | 
ee 和 于 二 | pes pese e 4 
| naa.600XXXa89d | cs-h02.1ocal | SSD | O | 186.27 GB |0% |0% | OK (v2) | 
| naa.600xxx28be | cs-h02.1ocal | MD | 17 | 136.69 GB | 10 4 | 10 % | OK (v2) | 
| naa. 600XXX4£59 | cs-h02.1ocal | MD | 15 | 136.69 GB | 4% | 4% | OK (v2) | 
| naa.600XXXe603 | cs-h02.1ocal | MD | 17 | 136.69 GB | 4% |4% | OK (v2) | 
| naa.600XXX6b4a | cs-h02.1ocal | MD | 17 | 136.69 GB | 3$ |3% || OK (v2) | 
| naa.600XXXaacd | cs-h02.1ocal | MD | 14 | 136.69 GB | 3% |3% | OK (v2) | 
| naa.600xxx41bf | cs-h02.1ocal | MD | 17 | 136.69 GB | 2 & | 2 % | OK (v2) | 
ee ee eee See ps ee Pee joe possessa 4 
| naa.600XXX4433 | cs-h03.1ocal | ssp | O | 186.27 GB | O $ |0% | OK (v2) | 
| naa.600XXXb92d | cs-h03.local | MD | 19 | 136.69 GB | 3% |3% | OK (v2) | 
| naa.600XxX4be4 | cs-h03.1ocal | MD | 15 | 136.69 GB | 3$ |3 % | OK (v2) | 
| naa.600XXXaad7 | cs-h03.1ocal | MD | 15 | 136.69 GB | 4% |4% | OK (v2) | 
| naa.600xXxXd2e7 | cs-h03.1ocal | MD | 13 | 136.69 GB | 3$ |3% | OK (v2) | 
| naa.600xxXf3ef | cs-h03.1ocal | MD | 17 | 136.69 GB | 8% | 8&5% | OK (v2) | 
| naa.600XXX4e83 | cs-h03.1ocal | MD | 18 | 136.69 GB | 18 $ | 18 % | OK (v2) | 
pedcs c E pee ee a pieles | 4 
| naa.600XXXaf66 | cs-h04.1ocal | ssD | O | 186.27 GB | 0% |0% | OK (v2) | 
| naa.600XXXf09a | cs-h04.1ocal | MD | 18 | 136.69 GB | 16 % | 11 € | OK (v2) | 
| naa.600XXX5096 | cs-h04.1ocal | MD | 20 | 136.69 GB | 8% |2% | OK (v2) | 
| naa.600XXXfa95 | cs-h04.1local | MD | 14 | 136.69 GB | 21% | 1% | OK (v2) | 
| naa.600XXXc941 | cs-h04.1ocal | MD | 13 | 136.69 GB | 5% |1% | OK (v2) | 
| naa.600XXX0dab | cs-h04.1ocal | MD | 16 | 136.69 GB | 7% | 2% | OK (v2) | 
| naa.600XXX71b3 | cs-h04.1ocal | MD | 16 | 136.69 GB | 6% | 1% | OK (v2) | 
ee $e eee pice Reese pou posee eerte 4 


2. 通 过 RVC 检 查 组 件 分 布 情况 一 vsan.check_limits 


/ie-vcsa-06.ie.local/IE-Virtual SAN-DC/computers» vsan.check limits 0 

2014-12-11 14:11:32 +0000: Querying limit stats from all hosts 

2014-12-11 14:11:36 +0000: Fetching Virtual SAN disk info from cs-ie-h01.ie.local 
2014-12-11 14:11:36 +0000: Fetching Virtual SAN disk info from cs-ie-h02.ie.local 


2014-12-11 14:11:36 +0000: Fetching Virtual SAN disk info from cs-ie-h04.ie.1local 
2014-12-11 14:11:36 «0000: Fetching Virtual SAN disk info from cs-ie-h03.ie.local 
2014-12-11 14:11:40 40000: Done fetching Virtual SAN disk infos 


Assocs: 1/45000 
Sockets: 4/10000 


| Components: 0/9000 
| naa.600508b1001cl16be6e256767284eaf88: OF | 
Clients: 0 | naa.600508b1001c3ea7838c0436dbe6d7a2: 0% | 
Owners: @ | naa.600508b1001c388c92e817e43fcd5237: O% | 
| naa.600508b1001leed5d506e7ed1Sc40ab4e: O% | 
| naa.600508b1001c61cedd42b0c3fbf55132: 0% | 
| naa.600508b1001c64816271482a56a48c3ic: OF | 
| naa.600508b1001c79748e8465571b6f4a46: O% | 
| naa.600508b1001c2ee9a6446e708105054b: OF | 
cg-ie-h02.ie.local | Assocs: 156/45000 | Components: 97/9000 | 
| Sockets: 26/10000 | naa.600508bl1001c0ccOba2a3866cf8e28be: 9% | 
| Clients: 11 | naa. 600508b1001c19335174d82278dee603: 3% | 
| Owners: 12 | naa.600508b1001c10548f5105fc60246b4a: 3% | 
| | naa.600508b1001c07d525259e83da9541bf: 1% | 
| | naa.600508b1001c64b76cB8ceb56eB816a89d: 0% | 
| | naa.600508b1001ca36381622ca880f3aacd: 2% | 
| | naa.600508b1001cb2234d6ff4AFf7b1144f59: 34% | 
cs-ie-h03.ie.local | Assocs: 151/45000 | Components: 97/9000 | 
| Sockets: 26/10000 | naa.600508b1001c9c8b5f6f0d7a2be44433: 05 | 
| Clients: 0 | naa.600508b1001cd259ab7ef213c87eaad7: 4% | 
| Owners: 17 | naa.600508b1001cla7f310269ccd51a4e83: 174| 
| | naa.600508b1001c9b93053e6dc3ea9bf3ef: 7% | 
| | naa.600508bl001ceefc4213ceb9b5lc4be4: 2% | 
| | naa.600508b1001c2b7a3d39534ac6beb92d: 2% | 
| | naa.600508b1001cbllf3292fe743a0fd2e7: 3% | 
es-ie-h04.ie.local | Assocs: 438/45000 | | 
| Sockets: 42/10000 | | 
| Clients: 68 | | 
| | 
| 
| 


Components: 97/9000 
naa.600508bl1001c846c000c3d9114ed71b3: 6% 
naa.600508b1001c258181f0a08St6e40dab: 6% 
| Owners: 68 naa.600508bl001cr63923"7aaffIrrl52ar66: OF 

| | naa.600508bl1001cadff5dB0ba7665b8f09a: 155 
| | naa.600508bl001c51f3a696feÜ0bbbcb5096: 8% 

| | naa. 600508b1001lc4bs 20b4d80L9fBacfa95: 205 
| 


| naa.600508b1001c6a664d5d576299cec941: 4% | 


3.RVC—vsan.proactive rebalance 


Virtual SAN6.0 版 本 开始 ，RVC 中 提供 对 组 件 进行 再 平衡 的 命令 vsan.proactive_rebalance。 这 条 命令 会 先 获取 集群 中 的 
组 件 分 布 信息 ， 然 后 在 集群 中 主动 地 对 组 件 进行 再 平衡 。 需 要 注意 的 是 ， 如 果 命令 不 加 任何 参数 ， 它 默认 不 会 开始 再 平衡 ， 需 
管理 员 了 明确 地 加 上 --start 参 数 ， 才 会 开始 进行 主动 再 平衡 。 


其 他 一 些 可 选 参数 包括 再 平衡 操作 可 运行 的 时 间 、 每 小 时 每 节点 可 移动 的 数据 量 大 小 等 。 


命令 的 示例 如 下 : 


vsan.proactive rebalance 
usage: proactive rebalance [opts] cluster 
Configure proactive rebalance for Virtual SAN 
cluster: Path to ClusterComputeResource 
--start, -s: Start proactive rebalance 
--time-span, -t «i»: Determine how long this proactive rebalance 
lasts in seconds, only be valid when option 
'start' is specified 
--variance-threshold, -v «f»: Configure the threshold, that only if disk's 
used capacity/disk capacity exceeds this 
threshold, disk is qualified for proactive 
rebalance, only be valid when option 'start' 
is specified 
--time-threshold, -i «i»: Threashold in seconds, that only when 
variance threshold continuously exceeds this 
threshold, corresponding disk will be 
involved to proactive rebalance, only be 
valid when option 'start' is specified 
--rate-threshold, -r «i»: Determine how many data in MB could be moved 
per hour for each node, only be valid when 
option 'start' is specified 
--stop, -o: Stop proactive rebalance 


--help, -h: Show this message 


下 面 是 一 个 如 何在 RVC 中 开始 和 结束 再 平衡 操作 的 示例 : 


/ie-vcsa-06.ie.local/IE-Virtual SAN-DC/computers» vsan.proactive rebalance info 0 

2014-12-11 14:14:27 +0000: Retrieving proactive rebalance information from host 
cs-ie-h02.ie.local 

2014-12-11 14:14:27 +0000: Retrieving proactive rebalance information from host 
cs-ie-h04.ie.local 

2014-12-11 14:14:27 +0000: Retrieving proactive rebalance information from host 
cs-ie-h01.ie.local 

2014-12-11 14:14:27 +0000: Retrieving proactive rebalance information from host 
cs-ie-h03.ie.local 

Proactive rebalance is not running! 

Max usage difference triggering rebalancing: 30.00% 

Average disk usage: 5.00% 

Maximum disk usage: 26.00% (21.00% above mean) 

Imbalance index: 5.00% 

No disk detected to be rebalanced 

/ie-vcsa-06.ie.local/IE-Virtual SAN-DC/computers> vsan.proactive_rebalance -s 0 


2014-12-11 14:15:05 +0000: Processing Virtual SAN proactive rebalance on host cs- 
ie-h02.1i1e.local 

2014-12-11 14:15:05 +0000: Processing Virtual SAN proactive rebalance on host cs- 
1e-h04.ie.local 

2014-12-11 14:15:05 «0000: Processing Virtual SAN proactive rebalance on Host cs- 
1e-h01.ie.local 

2014-12-11 14:15:05 «0000: Processing Virtual SAN proactive rebalance on host cs- 
ie-h03i.ie.local 

Proactive rebalance has been started! 

/ie-vcsa-06.i1e.local/IE-Virtual SAN-DC/computers> vsan.proactive rebalance info 0 

2014-12-11 14:15:11 40000: Retrieving proactive rebalance information from host 
cg-ie-h02.1e.1local 

2014-12-11 14:15:11 40000: Retrieving proactive rebalance information from host 
es-1e-h01.1ie.local 

2014-12-11 14:15:11 +0000: Retrieving proactive rebalance information from host 
cs-ie-h04.i1e.local 

2014-12-11 14:15:11 40000: Retrieving proactive rebalance information from host 
es-1e-h03.ie.local 

Proactive rebalance start: 2014-12-11 14:13:10 UTC 

Proactive rebalance stop: 2014-12-12 14:16:17 UTC 

Max usage difference triggering rebalancing: 30.00% 

Average disk usage: 5.00% 

Maximum disk usage: 26.00% (21.00% above mean) 

Imbalance index: 5.00% 

Wo disk detected to be rebalanced 

/ie-vcsa-Ü06.i1e.1o0cal/IE-Virtual SAN-DC/computers> vsan.proactive rebalance -o 0 

2014-12-11 14:15:45 «0000: Processing Virtual SAN proactive rebalance on host cs- 
ie-h01.ie.local 

2014-12-11 14:15:45 «0000: Processing Virtual SAN proactive rebalance on host cs- 
1e-h02.ie.local . 

2014-12-11 14:15:45 40000: Processing Virtual SAN proactive rebalance on host cs- 
ie-h04l.ie.local 

2014-12-11 14:15:45 +0000: Processing Virtual SAN proactive rebalance on host cs- 
ie-h03i.ie.local 

Proactive rebalance has been stopped! 


/ie-vcsa-06.i1e.local/IE-Virtual &SAN-DC/computers- 


VMware 推荐 在 生产 环境 中 保持 30% 的 空 亲 Virtual SAN 数 据 存储 ， 以 便 有 足够 的 空间 在 Virtual SAN 集 群 中 可 用 于 维护 、 保 
持 数 据 的 可 用 性 以 及 最 小 化 主动 再 平衡 事件 。 


8.28 Virtual SAN 故 障 后 的 修复 一 重新 创建 组 件 


Virtual SAN 运 行 时 可 能 因为 策略 更 改 、 主 机 故障 、 长 期 的 或 永久 的 组 件 丢失 、 用 户 触 友 的 再 同步 、 维 护 模 式 等 原因 在 后 台 
移动 数据 。 在 这 种 情况 下 ， 一 些 服务 可 能 会 受到 影响 。 此 外 ， 以 下 事件 会 触 友 Virtual SAN 集 群 中 的 再 同步 操作 : 


1) 编辑 虚拟 机 存储 策略 更 改 虚 拟 机 存储 策略 设置 时 ，Virtual SAN 可 能 启动 对 象 重新 创建 ， 随 后 会 重新 同步 对 象 。 


某 些 策略 更 改 可 能 会 导致 Virtual SAN 创 建 其 他 版 本 的 对 象 ， 并 与 以 前 的 版 本 重新 同步 。 完 成 重新 同步 后 ， 将 乔 用 原始 对 
RR. 


Virtual SAN 可 确保 虚拟 机 继续 运行 ， 不 会 因为 该 过 程 而 中 断 。 该 过 程 可 能 需要 更 多 临时 容量 。 
2) 出 现 故障 后 ， 重 局 主机 。 


3) 从 长 期 故障 状态 恢复 主机 。 如 果 主 机 超过 60 分 钟 不 可 用 (GALA) , Virtual SAN 将 创建 数据 副本 以 恢复 元 整 的 策略 合 规 
IE. 


4) 在 将 主机 置 于 维护 模式 之 前 ,使 用 “迁移 全 部 数据 ”模式 迁 出 数据 。 
5) 超过 容量 磁盘 的 利用 率 国 值 。Virtual SAN 集 群 中 的 容量 设备 利用 率 接近 或 超过 80% 的 国 值 水 平 ， 会 触 友 重新 同步 。 


本 书 将 介绍 如 何 监控 Virtual SAN 集 群 中 的 再 同步 操作 。 尽 管 有 时 些 组 件 需要 重建 ， 但 是 这 些 虚拟 机 对 象 仍然 是 可 以 访问 
的 。 如 果 有 足够 的 剩余 空间 ，Virtual SAN 束 会 目 动 开始 重建 过 程 。 重 建 的 状态 、 过 程 可 以 通过 多 种 方式 查看 。 


先 通 过 vSphere Web Client， 选 中 Virtual SAN 集 群 ， 单 击 Monitor 一 Virtual SAN 一 Resyncing Components， 可 以 看 到 
如 图 8-9 所 示 的 界面 。 


Resyncing Components 


Resyncing components view displays the status of virtual machine objects that are currently being resynchronized in the Virtual SAN cluster. Monitoring object resynchronization is not available for clusters 
containing only hosts with version earlier than ESXi 6.0 


c 


Resyncing components 6 
Bytes left to resync 4.91 GB 


ETA to compliance 0 second 


-a 
Name VM Storage Policy Host Bytes Left to Resync ETA 
v ii vsan-010 一 一 1,020.00 MB 0 second 
v & Hard disk 2 ES Virtual SAN Default...  — 1,020.00 MB 0 second 
Component - cs-ie-h03.ie local 1,020.00 MB 0 second 
v (gà vsan-005 - - 699.00 MB 0 second 
v & Hard disk 1 ES Virtual SAN Default... 一 699.00 MB 0 second 
Component 一 cs-ie-h03 ie local 699.00 MB 0 second 
v (à vsan-006 - - 973.00 MB 0 second 
v & Hard disk 2 ES Virtual SAN Default...  — 973.00 MB 0 second 
Component 一 g cs-ie-h02 ie local 973.00 MB 0 second 
v & vsan-021 - - 699.00 MB 0 second 
v & Hard disk 1 ES Virtual SAN Default... | — 699.00 MB 0 second 
Component =- cs-ie-h01.ie.local 699.00 MB 0 second 
~  vsan-011 - - 666.00 MB 0 second 
v & Hard disk 1 ES Virtual SAN Default... — — 666.00 MB 0 second 
Component - cs-ie-h02 ie local 666.00 MB 0 second 
- & vsan-014 =- - 971.00 MB 0 second 
v & Hard disk 2 ES Virtual SAN Default... | 一 971.00 MB 0 second 
Component - cs-ie-h02 ie.local 971.00 MB 0 second 





图 8-9 ”同步 组 件 界面 
同样 的 信息 可 以 通过 RVC 命 令 vsan.resync dashboard 来 查看 。 


1.vsan.resync dashboard 


> vsan.resync dashboard 0 

2014-11-28 15:26:42 +0000: Querying all VMs on Virtual SAN 

2014-11-28 15:26:42 +0000: Querying all objects in the system from cs-ie-h02.ie.local 
2014-11-28 15:26:43 +0000: Got all the info, computing table 


+—-------------------------- -- -- -- -- ~~ MMMM MMMM MMMM + 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 一 一 - 
| VM/Object | Smcing dbjects| Bytes to sync | 
| vsan-022 | 1 | | 
| [vsanDatastore] 89ae3e54-6495-85f6-9b6b-001b21168828/vsan-022_1.vmdk | | 1.00 GB | 
| vsan-013 | 1 | | 
| [vsanDatastore] f£0713e54-2071-7be0-d570-001b21168828/vsan-013.vmdk | | 0.68 GB | 
| vsan-009 | 1 | | 
| [vsanDatastore] 1d713e54-9c80-4c2c-03de-001b21168828/vsan-009_1.vmdk | | 0.97 GB | 
| vsan-008 | 1 | | 
| [vsanDatastore] 1d713e54-b8d5-dd1d-b144-001b21168828/vsan-008 . vmdk | | 0.68 GB | 
| vsan-007 | 2 | | 
| [vsanDatastore] d3703e54-24be-0d86-06e0-001£29595f9f/vsan-007.vmdk | | 0.68 GB | 
| [vsanDatastore] d3703e54-24be-0d86-06e0-001£29595f9f/vsan-007 1.vmdk | | 0.95 GB | 
| vsan-010 | 1 | | 
| [vsanDatastore] 77713e54-04b3-7214-£997-001b21168828/vsan-010.vmdk | | 0.65 GB | 
+—-------------------- -- -- ~~~ MMMM MMMM M MMMM + 一 一 一 一 一 一 一 R----------- - 
| Total | 7 | 5.61 GB | 
+------------------------------------------------------------------- +------- +----------- - 


同时 ， 还 有 其 他 一 些 RVC 命 令 可 以 查看 到 更 细 粒 度 的 重建 状态 信息 。 


2.vsan.vm object info 


这 条 命令 可 以 用 来 查看 某 个 特定 虚拟 机 中 的 对 象 的 状态 信息 。 对 于 以 下 示例 来 训 ， 如 果 查 看 虚拟 机 命名 空间 中 的 对 象 状 态 
(在 输出 中 称 为 Namespace directory) ， 融 可 以 看 到 这 个 对 象 的 见证 组 件 的 状态 是 ABSENT 和 3STALE。 


> vsan.vm object info 1 
VM vsan-002: 
Namespace directory 
DOM Object: 10703e54-40ab-2706-b9cd-001f29595f9f (v1, owner: cs-ie-h04. 
ie.local, policy: forceProvisioning = 0, hostFailuresToTolerate = 1, 
spbmProfileld = Virtual SANDefaultProfileld, proportionalCapacity = [0, 
100], spbmProfileGenerationNumber = 0, cacheReservation = 0, stripeWidth = 1) 
RAID 1 
Component: 7e8c7454-d7b2-6ec6-b44b5-001f29595f9f (state: ACTIVE (5), host: 
cs-ie-h02.ie.local, md: naa.600508b1001c074d4525259e83da9541bf, ssd: na 
a.600508b1001c577e11d8d042e142a583£f, 


usage: 0.2 GB) 

Component: be937454-22a0-e950-fb7d-001b21168828 (state: ACTIVE (5), host: 
cs-ie-h01.ie.local, md: naa.600508b1001c79748e8465571b6f4a46, ssd: na 
a.600508b1001c61cedd42b0c3fbf55132, 

usage: 0.2 GB) 
Witness: c3567854-4aee-aba7-6733-001b21168828 (state: ABSENT (6), csn: 
STALE (78!=79), host: LSOM object not found) 
Disk backing: [vsanDatastore] 10703e54-40ab-2706-b9cd-001f£29595f9f/vsan-002.vmdk 


其 中 ，STALE (陈旧 的 ) 的 意思 是 这 个 组 件 所 在 的 磁盘 故障 以 后 ，Virtual SAN 对 这 个 组 件 有 了 新 的 更 改 ， 所 以 这 个 组 件 的 
数据 不 是 最 新 的 。 另 外 可 以 看 出 ， 在 这 个 失效 组 件 的 输出 信息 里 面 没有 主机 、 容 量 层 磁 盘 或 缓存 层 磁盘 的 信息 ， 而 是 显 
7 “LSOM object not found”。 这 不 是 一 个 永久 的 失效 ， 否 则 输出 信息 中 的 状态 惑 不 是 ABSENT (GRA) ， 而 应 该 是 
DEGRADED (降级 ) 。Virtual SAN 认 为 这 个 磁盘 是 缺失 的 原因 为 不 小 心 将 磁盘 拔 出 或 重启 了 主机 ， 所 以 会 等 待 60 分 钟 ， 以 观 
察 这 个 磁盘 是 否 会 重新 上 线 。 


ri 


3.vsan.resync dashboard 


如 果 以 上 标示 为 缺失 的 磁盘 经 过 60 分 钟 仍 然 没 有 上 线 ，Virtual SAN 就 会 开始 在 其 他 磁盘 上 重建 受 影响 的 组 件 。 使 用 RVC 中 
的 命令 vsan.resync_dashboard 可 以 看 到 正在 重建 的 组 件 的 状态 信息 。 通 过 这 个 命令 ， 可 以 查看 到 某 个 虚拟 机 还 剩 下 多 少 字 节 需 
要 被 重建 。 








ee ee ee ee oe c cR cR RR RR RO RR RR RR cR ee ee ee c RR cR oe eee RR cR RR ee RR RR ee ee eee ee eee ee ee c oo *——— ——À a a -— -— — *o——— — — — -— — como * 
VM/Object | Syncing objects | Bytes to sync 
|l pL tae eee eee € — — — 条 一 一 一 一 一 * 
io-232-vsanDatastore-rhel6-64-vmwpv-1c-0011 1 | 
[vsanDatastore] 67853352-a080-c5e0-af3b-d4ae52659eeb/io-232-vsanDatastore-rhel6-64-vmwpv-lc-0011.vmdk | 0.07 GB 
io-51-vsanDatastore-rhel6-64-vmwpv-p-0009 | 1 | 
[vsanDatastore] 329a3652-a42b-93c6-c71a-d4ae52659f0f/io-51-vsanDatastore-rhel6-64-vmwpv-p-0009-000001.vmdk | | 0.00 GB 
io-232-vsanDatastore-rhel6-64-vmwpv-1c-0010 | 1 | 
[vsanDatastore] b1843352-c04b-70c6-571b-d4ae52659eeb/io-232-vsanDatastore-rhel6-64-vmwpv-1c-0010.vmdk | | 0.05 GB 
io-147-vsanDatastore-rhel6-64-vmwpv-p-0006 | 1 | 
[vsanDatastore] 8b8b3352-e422-60d2-5ec5-d4ae526536c3/io-147-vsanDatastore-rhel6-64-vmwpv-p-0006-000001.vmdk | [ 0.01 GB 
io-147-vsanDatastore-rhel6-64-vmwpv-p-0003 | 1 | 
[vsanDatastore] 8a8b3352-bccb-6be0-bfff-d4ae526536c3/io-147-vsanDatastore-rhel6-64-vmwpv-p-0003-000001.vmdk | | 0.01 GB 
io-232-vsanDatastore-rhel6-64-vmwpv-1c-0057 | 1 | 
[vsanDatastore] 97883352-80fb-d706-ec01-d4ae52659eeb/io-232-vsanDatastore-rhel6-64-vmwpv-1c-0057.vmx | | 0.01 GB 
io-245-vsanDatastore-rhel6-64-vmwpv-1c-0055 m' | 
[vsanDatastore] f3883352-fcfa-5e2d-a0a9-d4ae526548f£8/io-245-vsanDatastore-rhel6-64-vmwpv-1c-0055,vmx | | 0.00 GB 
io-188-vsanDatastore-rhel6-64-vmwpv-1c-0011 | 1 | 
[vsanDatastore] ed853352-8a5f-9544-c2f3-d4ae52652342/i10-188-vsanDatastore-rhel6-64-vmwpv-1c-0011.vmdk | | 0.00 GB 
io-188-vsanDatastore-rhel6-64-vmwpv-1c-0046 | 1 | 
[vsanDatastore] 48883352-a631-2d8f-d7d2-d4ae52652342/io-188-vsanDatastore-rhel6-64-vmwpv-1c-0046.vmx | 0.00 GB 
io-36-vsanDatastore-rhel6-64-vmwpv-np-0013 1 | 
[vsanDatastore] 318b3352-d8d8-7727-aa08-d4ae5265363f£/i10-36-vsanDatastore-rhel6-64-vmwpv-np-0013.vmx | 0.00 GB 
io-188-vsanDatastore-rhel6-64-vmwpv-np-0013 1 | 
[vsanDatastore] 288b3352-d2bd-146c-4be0-d4ae52652342/i0-188-vsanDatastore-rhel6-64-vmwpv-np-0013.vmx | | 0.01 GB 
io-36-vsanDatastore-rhel6-64-vmwpv-1c-0067 | 1 | 
[vsanDatastore] ad893352-59b2-4f90-1ee3-d4ae5265363f/io-36-vsanDatastore-rhel6-64-vmwpv-1c-0067.vmdk | | 0.00 GB 
io-51-vsanDatastore-rhel6-64-vmwpv-1c-0010 | 1 | 
[vsanDatastore] af923652-a082-84d0-0217-d4ae52659f0f/io-51-vsanDatastore-rhel6-64-vmwpv-1c-0010.vmdk | | 0.00 GB 
io-51-vsanDatastore-rhel6-64-vmwpv-1c-0048 | 1 | 
[vsanDatastore] 63943652-eBc5-ae6e-2a6a-d4ae52659f0f/io-51-vsanDatastore-rhel6-64-vmwpv-1c-0048.vmdk | | 0.00 GB 
io-51-vsanDatastore-rhel6-64-vmwpv-1c-0041 IL | 
[vsanDatastore] 35943652-d052-6ale-5296-d4ae52659f0f/io-51-vsanDatastore-rhel6-64-vmwpv-1c-0041.vmdk | 0.01 GB 
io-51-vsanDatastore-rhel6-64-vmwpv-1c-0044 | 1 | 
[vsanDatastore] 37943652-c8ff-a18a-83a6-d4ae52659f0f/io-51-vsanDatastore-rhel6-64-vmwpv-1c-0044.vmdk | | 0.00 GB 
$e ee eee eee eee ee ee ee m m m m ce a m ce m m ee Rm tm m ee oe am Rm ce m m m am m tm am nm am m am tm am m atm m m m ce ce m am m es m ce am tm am m am am m te m m m m am m am m m m m m m m m m m m m m te m m m m m cm m et ee 4d——— € — — — c A———— A cm * 
Total 16 | 0.20 GB 
A —— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —— — — — — — — — — — — — — —— — — — — — — — — — — — — — — — — — — — — — — —— — — — —— — — — — — — — — — — — — — — o — — ——— 4 -——————————————— Femme meme eee ee eee * 


8.2.9 ”其 他 常见 问题 和 解决 方案 


这 一 节 主 要 描述 客户 在 使 用 Virtual SAN 的 过 程 中 遇 到 的 一 些 暴 型 问题 。 
1.Virtual SAN 声 明了 磁盘 但 是 容量 不 正确 


有 些 时 候 会 出 现 这 种 情况 ， 管 理 员 观 察 到 Virtual SAN 数 据 存储 的 容量 显示 为 明显 错误 的 数值 。 这 种 情况 主要 友 生 在 当 管 理 
员 更 换 或 改变 ESXi 主 机 上 的 某 些 组 件 时 ， 本 地 SCSI 磁 盘 连 接 到 ESXi 主 机 的 方式 也 同时 发 生 了 变化 。 这 会 导致 这 些 磁 盘 上 的 
VMFS-L 格 式 的 卷 被 错误 地 识别 成 快照 形式 ， 而 在 设计 上 快照 形式 的 卷 束 根本 不 能 被 ESXi 主 机 所 挂 载 。 如 果 管 理 员 通过 ESXCLI 运 
fj "esxcli vsan storage list” 命 令 ， 可 以 看 到 其 中 的 “In CMMDS” 属 性 显示 为 false。 如 下 面 示 例 所 示 : 


naa.600605b008b04b90ff0000a60a119dd3: 
Device: naa.600605b5b008b04b90ff0000a60a119dad3 
Display Name: naa.600605b008b04b90ff0000a60a119dqd3 
Is SSD: false 
Virtual SAN UUID: 520954bd-c07c-423c-8e42-ff33cab5c0a81 
Virtual SAN Disk Group UUID: 52564730-8bc6-e442-2ab9-6de5b0043d87 
Virtual SAN Disk Group Name: naa.600605b008b04b90ff0000a80a26f73f 
Used by this host: true 
In CMMDS: false 
Checksum: 15088448381607538692 
Checksum OK: true 


因为 这 块 磁盘 没有 人 被 ESXi 主 机 所 挂 载 ， 它 们 的 容量 当然 也 就 不 能 被 加 入 Virtual SAN 数 据 存 储 中 。 友 生 这 种 情况 时 ， 管 理 员 
可 以 参考 VMware 知 识 库 文章 1011387 来 进行 处 理 ， 或 直接 联系 VMware 全 球 支 持 服 务 。 


2.Virtual SAN 不 能 声明 磁盘 一 人 磁盘 上 和 存在 分 区 


一 个 常见 的 问题 是 ， 如 何 将 被 使 用 过 的 磁盘 再 加 入 到 Virtual SAN 集 群 中 来 。 如 果 管 理 员 将 某 个 已 经 存在 于 Virtual SAN 集 群 
中 的 ESXi 置 于 维护 模式 ， 然 后 再 将 其 上 的 Virtual SAN 磁 盘 组 删除 ， 那 么 这 些 磁盘 上 的 分 区 也 同样 会 被 删除 ， 这 些 磁盘 就 可 以 被 
重新 利用 来 加 入 新 的 Virtual SAN 集 群 或 用 于 其 他 目的 。 但 是 ， 如 果 一 个 曾经 加 入 过 Virtual SAN 集 群 的 主机 被 重新 安装 了 ESXi 系 
统 但 并 没有 进行 正常 的 磁盘 组 删除 操作 ， 或 者 某 个 磁盘 曾经 被 用 作 本 地 存储 ， 那 么 这 些 磁 盘 上 就 可 能 存在 旧 的 分 区 。 当 磁盘 上 存 
在 旧 的 分 区 时 ，Virtual SAN 是 不 会 将 这 些 磁盘 声明 为 可 加 入 Virtual SAN 集 群 的 。 这 时 瓯 需要 管理 员 手 动 将 这 些 磁盘 上 的 分 区 删 
BR. 


(1) esxcli vsan storage remove 


ESXCLH 包 含 了 可 以 将 被 Virtual SAN 所 使 用 的 磁盘 从 相应 的 磁盘 组 中 删除 的 命令 : 


Usage: esxcli vsan storage remove [cmd options] 


可 选 的 选项 包括 : -d: 删除 容量 层 磁盘 ; -s: 删除 缓 仓 层 磁盘 ; -u: 删除 UUID 为 录 个 特定 值 的 磁盘 。 


值得 注意 的 是 ， 如 果 使 用 了 -s 选 项 ， 那 么 在 移 除 缓 仓 层 磁盘 的 同时 ， 也 会 移 除 其 所 在 磁盘 组 中 的 所 有 容量 层 磁 盘 ， 所 以 需要 
格外 留意 。 如 果 删 除了 有 某 个 缓 仓 层 磁盘 ， 那 么 其 所 在 的 整个 磁盘 组 都 会 区 得 不 可 用 。 


(2) partedUtil 


如 果 某 个 磁盘 不 曾 被 Virtual SAN 所 使 用 ,但 是 磁盘 上 也 存在 其 他 的 分 区 ， 如 VMFS 分 区 ， 那 么 可 以 使 用 ESXi 中 的 一 个 命令 
行 工 具 partedUtil 来 删除 这 些 磁盘 上 的 分 区 。 这 样 Virtual SAN 就 可 以 使 用 这 些 磁盘 了 。 管 理 员 可 以 先 运 行 partedUtil 来 获取 磁盘 
上 已 经 存在 的 分 区 ， 然 后 再 删除 它们 。 使 用 “getptbl” 选 项 而 不 是 “get” 选 项 可 以 获取 更 为 用 户 友 好 的 输出 信息 : 


~ # partedUtil get? /dev/disks/naa.500xxxxxx 

15566 255 63 250069680 

1 2048 6143 0 0 

2 6144 250069646 0 0 

~ # partedUtil getptbl /dev/disks/naa.500xxxxxx gpt 
15566 255 63 250069680 

1 2048 250069646 AA31E02A400F11DB9590000C2911D1B8 vmfs 0 
~ # partedUtil delete /dev/disks/naa.500xxxxxx 1 


删除 分 区 时 ， 请 确保 Virtual SAN 人 在 这 个 集群 中 是 被 共用 的 。 当 所 有 分 区 被 删除 完毕 后 ， 再 局 用 Virtual SAN, 


自 Virtual SAN6.1 版 本 开始 ， 有 一 个 更 简单 的 万 法 ， 即 在 vSphere 网 页 客户 端 上 仓 人 在 图 形 界面 ， 可 以 帮助 管理 员 方 便 地 清除 
磁盘 上 的 已 有 分 区 。 在 vSphere 网 页 客户 端 上 ， 选 中 主机 ， 依 次 选择 Manager 一 Storage 一 Storage Devices， 单 击 需要 删除 分 
区 的 磁盘 ， 选 择 All Actions Erase Partitions 以 擦 除 分 区 ， 如 图 8-10 所 示 。 


Getting Started Summary Monitor | Manage | Related Objects 








Settings | Networking Storage | Alarm Definitions | Tags | Permissions 


44 Storage Devices 


Storage Adapters tà a fa wy Q O 四 Q^ Actions = Ta~ 
Name |E@ Refresh | Capacity Operational State 

Host Cache Configuration | Cocal DELL Disk (naa.6c81fe60d02236004 £. Rescan Storage... 372.00GB Attached 
Protocol Endpoints Local DELL Disk (naa.6c811660d0223600 ‘ttact 372.00GB Attached 

Local DELL Disk (naa.6c811660d02236001 Eg Detach 372.00 GB Attached 

Local DELL Disk (naa. serene mj Rename... 931.00GB Attached 

Local TSSTcorp CD-ROM (mpx.vmhba38:9] @ TUM LOCEN LED On 

Local DELL Disk (naa. scs1reeoao223800ù lenem ipi 

f 


Eg Mark as HDD Disk 
Local DELL Disk (naa.6c81f660d0223600 
i= Mark as Remote 


Device Details Cc Erase Partitions... 


图 8-10 ”删除 磁盘 分 区 


m Attached 
372.00GB Attached 
185.75 GB Attached 





8.2.10 ”上 友 生 仔 储 设备 故障 时 的 昔 见 现象 


这 一 忆 将 分 别 介绍 当 Virtual SAN 中 ESXi 主 机 上 的 磁盘 被 拔 出 、 缓 存 层 内 存盘 故障 和 存储 控制 器 故障 时 的 常见 现象 。 这 三 种 
情况 会 导致 不 同 的 行为 ， 理 解 这 些 不 同 的 行为 对 管理 员 排除 Virtual SAN 故 障 很 有 帮助 。 


1. 磁 盘 锌 拔 出 时 的 常见 现象 


在 这 个 示例 中 ， 我 们 将 观察 当 一 块 磁盘 被 从 ESXi 主 机 上 拔 出 时 Virtual SAN 的 行为 。 磁 盘 被 拔 出 可 以 是 指 真实 的 、 在 服务 器 
上 将 磁盘 拔 出 的 行为 ， 也 可 以 是 指 通 过 仓储 控制 器 的 命令 行 工具 模拟 将 磁盘 置 于 “离线 ”模式 的 行为 。 人 在 以 下 实验 中 ， 我 们 通过 
HP 服务 器 的 命令 行 工具 将 某 个 磁盘 置 于 “离线 ”状态 ， 观 察 ESXi 主 机 和 Virtual SAN 的 反应 。 在 这 种 情形 下 ，Virtual SAN 会 将 
这 块 磁盘 标记 为 “ABSENT 缺 失 的 ”， 给 予 管理 员 60 分 钟 的 缓冲 时 间 来 使 这 块 补 错误 拔 出 的 磁盘 重新 上 线 。 


在 这 个 示例 中 ， 每 块 磁盘 被 创建 为 RAID0 模 式 ， 因 为 此 存储 控制 器 不 支持 直通 模式 。 首 先 会 出 现 的 现象 是 ， 在 vSphere 
Web Client 的 Virtual SAN 管 理 页 面 上 ， 这 个 磁盘 所 在 磁盘 组 被 标记 为 “Unhealthy” (不 健康 的 ) ， 并 且 这 块 磁盘 被 标记 
7J "ABSENT" (缺失 的 ) ， 如 图 8-11 所 示 : 


cs-ie-h01.ie.local 


国 Disk group (0200080000600508b1001c61cedd42b0c3fbf... 


cs-ie-h02 ie.local 


Ej Disk group (010000000031323130443039313349414452... 


cs-ie-h03.ie.local 


& Disk group (0100000000313234314430353134494f4452... 


cs-ie-h04 ie local 


国 Disk group (010000000031323130443039323549414452 .. 


Disk group (0100000000313231304430393133494144524956): Disks 
= 


Name 


图 Local FUSIONIO Disk (eui.c68e151fed8a4fcf00247 12c7cc444fe) 


HP Serial Attached SCSI Disk (naa.600508b1001c19335174482... 


G HP Serial Attached SCSI Disk (naa.600508b1001ca36381622ca... 


HP Serial Attached SCSI Disk (naa.600508b1001cb22344d6/f4f7 b... 


HP Serial Attached SCSI Disk (naa.600508b1001c0cc0ba2a386... 


HP Serial Attached SCSI Disk (naa.600508b1001c07d525259e8... 


HP Serial Attached SCSI Disk (naa.600508b1001c1054815105fc... 


GB Absent VSAN Disk (VSAN UUID:52af3bc3-448f-23ea-a208-6 d0 d5... 


Drive Type 
SSD 

Non-SSD 
Non-SSD 
Non-SSD 
Non-SSD 
Non-SSD 
Non-SSD 
Non-SSD 


State 


Connected 


Maintenance M... 


Connected 


Connected 


Capacity 
1.10 TB 
136.70 GB 
136.70 GB 
136.70 GB 
136.70 GB 
136.70 GB 
136.70 GB 
0.00 B 


Status 
Healthy 
Healthy 
Unhealthy 
Unhealthy 
Healthy 
Healthy 
Healthy 
Healthy 


Health Status — issue 
Healthy 一 
Healthy -- 
Healthy 一 
Healthy 

Healthy 

Healthy 

Healthy 


(Q Filter 


Network Partition Group 


Group 1 
Group 1 
Group 1 


Group 1 


8 items [9 


Snow 


后 是 APD (All Path Down， 所 有 路 径 失 效 ) 


图 8-11 磁盘 管理 页 面 磁 盘 组 中 磁盘 报错 


这 个 被 标记 为 “ABSENT” 的 磁盘 ， 它 的 操作 状态 被 标记 为 “Dead or Error" , 


下 一 个 可 观察 的 现象 是 在 事件 日 志 里 ， 会 出 现 一 些 类 型 为 “Error' 


的 日 志 ， 


Description 
Qd Permanently inaccessible device naa.600508b1001c4d41121b41182fa83be4 has no more opens. It is now safe to unmount datastores (if any) U... 
Qj Alarm ‘Cannot connect to storage’: an SNMP trap for entity cs-ie-h04.ie.local was sent 


Qd Alarm ‘Cannot connect to storage’ on cs-ie-h04 ie local triggered by event 3348 "Lost connectivity to storage device naa.600508b1001c4d41121b41... 


Qx] Alarm ‘Cannot connect to storage’ on cs-ie-h04.ie.local triggered an action 

Qxj Alarm ‘Errors occurred on the disk(s) of a Virtual SAN host: an SNMP trap for entity cs-ie-h04.ie.local was sent 
H Alarm ‘Errors occurred on the disk(s) of a Virtual SAN host on cs-ie-h04.ie.local changed from Gray to Red 
@jj Alarm 'Errors occurred on the disk(s) of a Virtual SAN host on cs-ie-h04.ie.local triggered an action 


@j Device naa.600508b100104d41121b41182fa83be4 has been removed or is permanently inaccessible. Affected datastores (if any): "VSAN-Internal... 


Qj Device or filesystem with identifier naa.600508b1001c4d41121b41182fa83be4 has exited the All Paths Down state. 


Qj Lost connectivity to storage device naa.600508b1001c4d41121b41182fa83be4. Path vmhba1:CO0:TO:L4 is down. Affected datastores: "VSAN-Intern... 


Qd User root@127.0.0.1 logged out (login time: Fri Nov 28 11:14:42 UTC 2014, number of API invocations: 0, user agent ) 
Qj Virtual SAN device 5227c17e-ec64-de76-c10e-c272102beba7 has gone offline. 

@j Device or filesystem with identifier naa.600508b1001c4d41121b41182fa83be4 has entered the All Paths Down state. 
Qj Virtual SAN device 5227c17e-ec64-de76-c10e-c272102beba7 is under permanent failure. 

Qxj Virtual SAN device 5227c17e-ec64-de76-c10e-c272102beba7 is under permanent failure. 


图 8-12 事件 日 志 


日 志 中 事件 的 序列 开始 于 Virtual SAN 检 测 到 一 块 磁盘 友 生 了 错误 。 接 着 是 磁盘 掉 线 ， 


指出 磁盘 出 现 了 不 可 访问 的 情 ; 


在 Virtual SAN5.5 版 本 中 ， 没 有 关于 Virtual SAN 的 警告 ， 如 果 要 获得 类 似 的 告警 信息 ， 需 


SAN6.0 版 本 中 ， 系 统 有 一 些 上 默认 的 告警 信息 并 且 在 遇 到 错误 时 会 自动 触 友 。 在 vSphere Web client 的 Virtual SAN 管 理 页 面 
中 ， 可 以 看 到 预定 义 的 告警 信息 定义 。 图 8-13 是 当 一 个 磁盘 相关 的 错误 出 现时 的 默认 告警 信息 。 


如 图 8-12 所 示 。 


Operational ... 


Mounted 
Mounted 
Mounted 
Mounted 
Mounted 
Mounted 
Mounted 


Dead or E... 


加 Information 
@ Information 
© Error 

Q Information 
@ Information 
@ Information 
@ Information 
Q Error 

@ Information 
© Error 

@ Information 
4 Error 

A Warning 
© Error 

© Error 


Transport Type 
Parallel SCSI 
Block Adapter 
Block Adapter 
Block Adapter 
Block Adapter 
Block Adapter 
Block Adapter 





Date Time 
28/11/2014 11:16:20 


28/11/2014 11:16:18 |. 


28/11/2014 11:16:18 
28/11/2014 11:16:18 
28/11/2014 11:16:18 


28/11/2014 11:16:18 | 
28/11/2014 11:16:18 | 


28/11/2014 11:16:08 


28/11/2014 11:16:08 | 
28/11/2014 11:16:08 | 


28/11/2014 11:16:08 
28/11/2014 11:16:08 
28/11/2014 11:16:08 


28/11/2014 11:16:08 | 
28/11/2014 11:16:08 | 





然后 是 磁盘 和 ESXi 主 机 失去 连接 ， 最 


行 手 动 配置 。 在 Virtual 








Hx 


| Tags | Permissions | Network Protocol Proties 
+ x Errors occurred on the disk(s) of a Virtual SAN host 


Name | Dafines tn Errors occurred on the disk(s) of a Virtual SAN host 
Expired Virtual SAN time-limi... e le-vcs a-03 ie local a i 2-03.ie local 


图 Registration/unregistrabon o... (CJ) le-vcsa-03.e local 
Default alarm that monitors whether there are errors on the host disk(s) in the Virtual 


i Hostflash capacity exceeds. (DJ ie-vcsa-03 le local SAN duster. 


图 Expired Virtual SAN license É} ie-vcsa-03ie local Host 


Yes 


Alarm triggers if ANY of the following events occur. 
4 esxproblem.vob.vsan Isom diskerror 


f Send a notification trap (Repeat) 
Repeated actions recur every 120 minutes 





图 8-13 ”磁盘 错误 默认 告警 信息 


同时 在 vSphere Web Client 上 从 ESXi 主 机 的 角度 再 看 磁盘 失去 连接 时 的 显示 信息 ， 从 图 8-14 中 可 以 看 出 ， 磁 盘 的 操作 状态 


显示 为 “Lost Communication” 


这 时 也 可 以 使 用 ESXCLI 命 令 行 工 具 来 查看 出 错 的 磁盘 信息 ， 通 过 命令 行 可 以 获取 更 多 的 信息 。 


Storage Devices 


Baise ü- 
D | cS l , - S 

HP Serial Attached SCSI Disk (naa.600508b1001cb... 136.70 GB Unknown Block Adapter 
Local hp CD-ROM (mpx vmhba0:CO:-TO:LO) | Not supported Block Adapter 
HP Serial Attached SCSI Disk (naa.600508b1001c1... 136.70 GB Unknown Block Adapter 
HP Serial Attached SCS! Disk (naa.600508b1001cc... i 136.70 GB . Unknown Block Adapter 
HP Serial Attached SCSI Disk (naa.600508b 1001c... i 136.70 GB | Lost Communicat.. | Unknown Block Adapter 
HP Serial Attached SCSI Disk (naa.600508b1001c1... 136.70 GB | Attached | Unknown Block Adapter 
Local FUSIONIO Disk (eui.c68e151fed8a4fcf00247 ... 1.10TB Attached Unknown Parallel SCSI 
HP Serial Attached SCSI Disk (naa.600508b1001ca... 136.70 GB Attached | Unknown Block Adapter 
HP Serial Attached SCSI Disk (naa.600508b1001c)0... 136.70 GB Attached Unknown Block Adapter 

















图 8-14 主机 存储 设备 页 面 


(1) esxcli vsan storage list-unknown 


\ 一 一 


这 条 命令 可 以 列 出 ESXi 主 机 上 的 所 有 存储 ， 从 示例 中 可 以 看 出 ， 挥 绪 的 磁盘 名 称 显 示 为 “Unknown 


# esxcli vsan storage list 
naa.600508b1001cadff5d80ba7665b8f09a 
Device: naa.600508b1001cadff5880ba7665b8f09a 
Display Name: naa.600508b1001cadff5d80ba7665b8f09a 
Is SSD: false 
Virtual SAN UUID: 5209c0c3-2143-7031-b404-060642590295 
Virtual SAN Disk Group UUID: 52e4dd37-f670-2125-2a4b-14eb7a0a6140 
Virtual SAN Disk Group Name: naa.600508b1001c40e393b73af79eacdcde 
Used by this host: true 
In CMMDS: true 
Checksum: 108245589703025155 
Checksum OK: true 
Emulated DIX/DIF Enabled: false 
Unknown 
Device: Unknown 
Display Name: Unknown 
Is SSD: false 
Virtual SAN UUID: 5227c17e-ec64-de76-c10e-c272102beba7 
Virtual SAN Disk Group UUID: 
Virtual SAN Disk Group Name: 
Used by this host: false 
In CMMDS: false 
Checksum: 
Checksum OK: false 
Emulated DIX/DIF Enabled: false 


<<truncated>> 


同时 我 们 注意 到 ， 这 块 磁盘 不 再 被 Virtual SAN 声 明 使 用 ， 因 为 其 中 的 状态 信息 “In CMMDS” 显 示 为 false。CMMDS 指 的 
是 集群 监控 和 成 员 管 理 的 服务 ， 这 个 服务 已 经 意识 到 磁盘 的 掉 线 ， 并 且 将 它 排 除 在 Virtual SAN 所 使 用 的 磁盘 之 外 。 


(2) vdq-qH: IsPDL 


另外 一 条 很 有 用 的 命令 是 vdq， 因 为 在 这 条 命令 的 输出 中 有 一 项 很 有 用 的 信息 ， 惑 是 输出 中 的 “lsPDL? ”。 简 单 地 说 ， 它 
就 是 指出 磁盘 是 否 处 于 PDL (Permanent Device Loss,， 永 久 设备 丢失 ) 状态 ， 如 下 面 示例 所 示 : 


[root@cs-ie-h04:~] vdq -qH 
DiskResults: 
DiskResult [0]: 


Name: naa.600508b1001c4b820b4d80f9f8acfa95 
529 4bbd8 -67c4-c545-3952-7711e365f7fa 


Virtual SANUUID: 
State:  In-use for Virtual SAN 

ChecksumSupport: 0 

Non-local disk 


IsSSD?: 0 


Reason: 


IsCapacityFlash?: 0 
IsPDL?: 0 
<<truncated>> 


DiskResult[18]: 


Name: 
Virtual SANUUID: 5227c17e-ec64-de76-c10e-c272102beba7 
State: In-use for Virtual SAN 


ChecksumSupport: 0 

Reason: None 

IsSSD?: 0 
IsCapacityFlash?: 0 

IsPDL 7: 1 


2. 缓 存 层 内 存盘 故障 时 的 常见 现象 


<<< Device is in PDL state 


在 这 个 示例 中 ， 缓 存 层 内 存盘 被 从 磁盘 组 中 移 除 ， 观 察 到 的 事件 与 容量 层 磁 盘 发 生 故 障 时 很 相似 。Virtual SAN 检 测 出 内 和 存 
盘 上 友 生 了 一 个 故障 ， 进 入 APD 状 态 ， 然 后 将 磁盘 标示 为 永久 不 可 访问 。 此 时 ， 闪 存盘 所 在 的 磁盘 组 中 的 所 有 容量 层 磁 盘 也 会 同 
时 被 标示 为 离线 状态 。 如 图 8-15 所 示 。 


当 一 块 缓 存 层 闪 存盘 受到 故障 影响 时 ， 它 所 在 的 整个 磁盘 组 中 的 所 有 磁盘 都 会 受到 影响 。 在 如 图 8-16 所 示 的 vSphere Web 
Client 中 的 Virtual SAN 管 理 界面 上 ， 可 以 看 到 整个 磁盘 组 都 被 标示 为 “Unhealthy” 状 态 。 在 人 磁盘 组 中 的 容量 层 磁盘 的 状态 显 
ma "Flash disk down" , 


Getting Started Summary | Monitor Manage Related Objects 


‘eaves [Peromance | Toss [BB Haroware Sus [Lon Somer 


Description 

Q | Alarm Cannot connect to storage: an SNMP trap for entity cs-ie-h02 ie local was sent 

@j Alarm Cannot connect to storage’ on cs-ie-h02 ie local triggered an acton 

Qj Alarm Cannot connect to storage’ on cs-ie-h02 ie local triggered by event 4827 Lost connectivity to storage device naa 600508 
Qj Alarm Errors occurred on the disk(s) of a Virtual SAN host: an SNMP trap for entity cs-ie-h02 je local was sent 

Qj Alarm Errors occurred on the disk(s) of a Virtual SAN host on cS-ie-h02 ie local triggered an action 

Qj Alarm Errors occurred on the disk(s) of a Virtual SAN host on cs-ie-h02 ie local changed from Gray to Red 

Qj Virtual SAN device 5290d854-e 135-cafS-93cb-0445¢8815674 has gone offline. 

@j Virtual SAN device 524c087e-3166-2096-3572-520e04224317 has gone offline. 

Qj Virtual SAN device 52421071-a114-13c-34ab-46706341475e has gone offline. 

Qj Virtual SAN device 52bf0ebd-a319-5d2f-fdc5-4bcfa377fe35 has gone offline. 

Qj Virtual SAN device 52efccbO-effc-c101-3674-3c04636 10cf has gone offline. 

Qj Virtual SAN device 524c2139-7829-8300-5311-e0022118457d has gone offline. 

Qj Device naa.60050851001c577e11043042e1423583t has been removed or is permanently inaccessible. Affected datastores (if . . 
Qj Device or filesystem with identifier naa.6005085 1001c577e1104042e1422583f has exited the All Paths Down state. 

国 Lost connectivity to storage device naa.600508D 1001¢577e1 100042e 14235831 Path vmhbat:COTO.L6 is down. Affected datas... 
Qj User root@ 127 0.0.1 logged out (login time: Mon Dec 01 09:17 55 UTC 2014, number of API invocations: 0, user agent ) 

Qj Device or filesystem with identifier naa 6005085 10015771 10d042e 1424583! has entered the All Paths Down state 

Qj Virtual SAN device 5227 1ef2-2che-c55e-2b2c-61d7 60044143 is under permanent failure. 

@ Virtual SAN device 5227 10f2-2c66-c55e-202c-613765022143 is under permanent failure 


图 8-15 ”事件 日 志 


Date Time 


01/12/2014 09:18:36 
01/12/2014 09:18:36 
01/12/2014 09:18:36 
01/12/2014 09:18:36 
01/12/2014 09:18:36 
01/12/2014 09:18:31 
01/12/2014 09:18:31 
01/12/2014 09:18:31 
0112/2014 09:18:31 
01/12/2014 09:18:31 
01/12/2014 09:18:31 
01/12/2014 09:18:27 
01/12/2014 09:18:27 
01/12/2014 09:18:27 
01/12/2014 09: 18:27 
01/12/2014 09:18:27 
01/12/2014 09:18:27 
01/12/2014 09:18:27 





[Q Filter 





Target 

日 cs4e-h02ielocal 
目 cs-ie-n02 ie local 
cs-ie-h02 ie local 
目 cs-e-h02 ie locat 
@ cs-ie-n02 ie local 
@ cs-ie-n02 ie local 
@ cs-+te-n02. ie loca! 
@ cs-ie-n02 ie local 
@ cs-ie-n02/¢ local 
@ cs-ie-n02 ie local 
@ cs4e-n02 ie10cat 
目 cs-e-n02 ie local 
@ cs-e-n02 ie local 
@ cs-ie-h02ielocal 
@ cs-e-n02 ie local 
@ cs-+e-02 ie local 
B cs-ie-n02 ie local 
@ cs-te-n02 ie locat 
B cs-ie-n02 ie local 





— eC 


- B cs-ie-h02.ie.local 


State 


Connected 


Virtual SAN ... 
Unhealthy 


Fault Domain 


Network Parti... 


Group 1 


(Q Filter 








Disk Format Version 


到 Disk group (52271ef2-2c6e-c55e-2b2c-6fd76b0aa143) 
v [à cs-ie-h03.ie.local 

ill Disk group (020008000060050851001c9c8b5f6f0d7 a2be... 
v Ñ cs-le-h04.ie.local 

al Disk group (0200080000600508b1001cf639237 aaffff1522f.. 
v [à cs-ie-h01.ie.local 

国 Disk group (020008000060050851001c61cedd42b0c3fbfs... 


Unhealthy 
Healthy 
Healthy 
Healthy 
Healthy 
Healthy 
Healthy 


Connected Group 1 


Connected Group 1 


Connected Group 1 


M 8items [3 


Disk group (52271e12.-2c6e.c55e-2b2c-61d76b0aa143): Disks 


a snow: [nue — — [-*) 


Name Capacity Virtual SAN Health Status Operational Status — Transport Type 1A 
Ej Absent VSAN Disk (VSAN UUID:52271ef2-2c6e-c55e-2b2c-611756... 0.00 B - 

HP Serial Attached SCSI Disk (naa.600508b1001c19335174482... 136.70 GB Flash disk down 
HP Serial Attached SCSI Disk (naa.600508D1001ca36381622ca... 136.70 GB Flash disk down 
HP Serial Attached SCSI Disk (naa.600508b1001cb223446/114f7 b... 136.70 GB Flash disk down 
GA HP Serial Attached SCSI Disk (naa.600508b1001c0cc0ba22380... 136.70 GB Flash disk down 
HP Serial Attached SCSI Disk (naa.600508b1001c07452525968... 136.70GB Flash disk down 
GA HP Serial Attached SCSI Disk (naa.600508b1001c1054815 105fc... 136.70GB Flash disk down 


Dead or Error 
Mounted Block Adapter 
Block Adapter 
Block Adapter 
Block Adapter 
Block Adapter 
Block Adapter 


Mounted 
Mounted 
Mounted 
Mounted 
Mounted 





图 8-16 ”磁盘 管理 


如 果 超 过 默认 时 间 (60 分 钟 ) 闪 存盘 没有 被 重新 插入 ESXi 主 机 之 中 ， 那 么 它 所 在 的 磁盘 组 中 受 影 响 的 所 有 组 件 都 会 在 其 他 
的 磁盘 组 中 被 重建 。 


3. 存 储 控制 器 故障 时 的 常见 现象 


在 这 个 特定 的 示例 中 ， 一 个 LSI MegaRAlD 和 存储 控制 器 因为 使 用 了 旧版 本 的 驱动 /固件 而 产生 了 问题 。 示 例 中 显示 的 是 在 每 
一 个 ESXi 主 机 的 vmkernel.log 日 志 中 截取 的 日 志 片 断 ， 反 映 出 存储 控制 嚣 出现 了 以 下 一 些 错 误 : 


Controller resets: 

2014-08-24T17:00:25.940Z2 cpu29:33542)«4»megasas: Found FW in FAULT state, will 
reset adapter. 

2014-08-24T17:00:25.940Zz cpu28:313542)«4»megaraid sas: resetting fusion adapter. 

I/Os fail due to controller issue (SCSI write is Cmd Ox2a): 

2014-08-24T17:00:25.940Zz cpu34:942985B8)NMP: nmp ThrottleLogForDevice:23i21: 
Cmd Ox2a (0x4136803d32c0, 0) to dev "naa.50015178f36364259" on path 
"vmhba0:C0:TÀ:LÓ" Failed: H:0x8 D:0x0 P:0x0 Possible sense data: 0x0 Ox0 Ox. 
Act:EVAL 

2014-08-24T17:00:25.940Z cpu34:9429858)WARNING: NMP: nmp DeviceRequestFastDevice 
Probe:237: NMP device "naa.50015178f3636429" state in doubt; requested fast 
path state update... 

2014-08-242T17:00:25.940Z cpu34:9425858) ScsiDeviceIlO: 2324: Cmd(0x413680931bd80) 
0x2a, CmdSN Ox648c4f£3b from world 0 to dev "naa.50015178tf3636429" failed H:0x8 
D:0x0 P:0x0 Possible sense data: 0x0 Ox0 Oxd. 

2014-08-24T17:00:25.940Z cpu34:54298858) ScsiDeviceIlO: 2324: Cmd(0x4136e17d15c0) 
0x2a, CmdSN Ox648c4ee8 from world 0 to dev "naa.50015178rf36316429" failed H:0x8 
D:0x0 P:0x0 Possible sense data: Ox0 Ox0 Oxü. 

2014-08-24T17:00:25,940Z epu34:9429858) NMP: nmp ThrottleLogForDevice:23121: 
Cmd Ox2a (0x4136e2370d40, 0) to dev "naa.50015178f36364259" on path 
"vmhba0:C0:TÀA:LOÓ" Failed: H:0x8 D:0x0 P:0x0 Possible sense data: 0x0 0x0 Ox0. 
Act:EVAL 

2014-08-24T17:00:25.940Z2 cpu34:9425858) ScsiDeviceIlO: 2324: Cmd(0x41370c3043c0) 
0x2a, CmdSN Ox648c4f3a from world 0 to dev "naa.50015178fT3636429" failed H:0x8 
D:0x0 P:0x0 Possible sense data: 0x0 Ox0 Oxd. 

2014-08-24T17:00:25.940Z cpu34:54298858) ScsiDevicelO: 2324: Cmd(0x4136e17d4680) 
0x2a, CmdSN üx648cleeb from world 0 to dev "naa.50015178fT3636429" failed H:0x8 
D:0xÜ0 P:0xÜ0 Possible sense data: 0x0 0x0 0x0. 

2014-08-24T17:00:25.,940Z epu34:9429858) NMP: nmp ThrottleLogForDevice:23121: 
Cmd Üx2a (0x4136&e07e&e1700, 0) to dev "naa.50015178f36364259" on path 
"vmhba0:C0:TÀ:LÓ" Failed: H:0x8 D:0x0 P:0x0 Possible sense data: 0x0 Ox0 Ox. 
Act:EVAL 

2014-08-24T17:00:25.940Z cpu34:9429858) NMP: nmp ThrottleLogForDevice:23121: 
Cmd 0x28 (O0x4l136e884c500, 0) to dev "naa.5000c500583c4blf" on path 
"vmhba0:C0:T6:LOÓ" Failed: H:0x8 D:0x0 P:0x0 Possible sense data: 0x0 Ox0 Ox. 
Act:EVAL 3) 


当 MegaRAID 的 固件 重 置 时 ， 它 会 消耗 太 长 的 时 间 ， 而 Virtual SAN 等 待 不 了 太 长 的 时 间 ， 所 以 产生 的 MO 最 终 会 失败 。 在 
日 志 里 可 以 看 到 I/O 的 重 试 ， 并 且 内 核 级 别 的 重 试 数量 超过 了 系统 能 忍受 的 最 大 值 ， 详 情 如 下 : 


2014-08-24T17:00:30.845Z cpu38:33542)<6>megasas: Waiting for FW to come to ready 
state [ .. ] 

2014-08-24T17:00:30.912Z72 cpu20:33167)LSOMCommon: IORETRYCompleterOo:389: 
Throttled: 0x413701b8cc40 IO type 265 (READ) isOdered:NO since 30001 msec 
Status Maximum kernel-level retries exceeded 

2014-08-24T17:00:30.912Z cpu33:7027198)WARNING: LSOM: LSOMEventNotify:4570: 
Virtual SAN device 52378176-a9da-7bce-0526-cdf1d863b3b5 is under permanent 
error. 

2014-08-24T17:00:30.91272 cpu33:7027198)WARNING: LSOM: RCVmfsIoCompletion: 99: 
Throttled: VMFS IO failed. Wake up 0x4136af9a69c0 with status Maximum kernel- 
level retries exceeded 

2014-08-24T17:00:30.912Z cpu33:7027198)WARNING: LSOM: RCDrainAfterBERead:5070: 
Changing the status of child state from Success to Maximum kernel-level 


retries exceeded 


渐渐 地 ， 人 存储 控制 器 上 的 固件 重 置 成 功 ， 但 是 这 时 对 Virtual SAN 来 说 已 经 太 晚 了 。 它 消耗 了 太 多 时 间 以 臻 Virtual SAN 已 经 
将 这 个 存储 控制 器 上 所 连接 的 所 有 磁盘 都 标示 失效 : 


2014-08-24T17:00:49.279Z cpu21:33542)megasas: FW now in Ready state 
2014-08-24T17:00:49.299Z cpu21:33542) «3»megasas:IOC Init cmd success 
2014-08-24T17:00:49.320Z cpu36:33542) «A»megaraid sas: Reset successful. 


当 一 个 存储 控制 器 发 生 这 样 的 错误 并 且 重 置 时 ，Virtual SAN 会 对 所 有 的 MO 进 行 重 试 ， 但 是 只 会 在 极 有 限 的 时 间 里 重 试 
MO。 在 这 个 示例 中 ， 和 存储 控制 器 化 了 24 秒 才 完 全 重 置 并 重新 上 线 ， 这 个 时 间 对 于 Virtual SAN 来 说 太 长 了 ， 这 导致 Virtual SAN 
将 磁盘 标示 为 “Degraded”， 并 立即 将 受 影 响 的 组 件 在 其 他 正常 的 磁盘 上 进行 了 重建 。 


在 这 里 ，Virtual SAN 是 按照 设计 原则 进行 了 正确 的 反应 。 事 实 上 ， 间 题 出 在 存储 控制 器 的 固件 版 本 上 ， 友 生 故 障 的 存储 皖 
制 器 所 使 用 的 固件 版 本 太 旧 了 。 当 按照 Virtual SAN 的 硬件 兼容 性 列表 (HCL) 将 固件 升级 到 推荐 版 本 之 后 ， 间 题 束 不 再 友 生 
Sa 


8.2.11 获取 设备 9.M.A.R.T 信 息 


从 ESXi5.1 版 本 开始 ，VMware 引 入 了 对 于 磁盘 S.M.A.R.T 的 支持 。 如 果 一 个 磁盘 支持 S.M.A.R.T， 那 么 就 可 以 从 该 磁盘 上 获 
取 一 些 非常 有 用 的 信息 ， 特 别 是 针对 | 闪存 盘 ， 可 以 报告 一 些 预测 性 的 信息 。 例 如 ， 它 能 帮助 确定 磁盘 上 是 否 出 现 了 读 写 的 错误 ， 


但 是 ， 不 是 所 有 的 磁盘 都 支持 S$.M.A.R.T 中 的 每 一 项 参数 ，S.M.A.R.T 人 信息 里 面 可 能 会 包含 一 些 项 目 显 示 为 N/A。 特 别 是 ， 如 
果 某 个 磁盘 完全 不 支持 S.M.A.R.T， 那 么 其 输出 信息 中 的 每 一 项 都 显示 为 N/A。 如 果 一 个 磁盘 支持 S.M.A.R.T， 那 么 其 中 会 有 很 多 
有 用 的 信息 输出 ， 如 下 面 的 示例 所 示 ， 这 里 使 用 esxcli storage core device smart get 命 令 : 


[root@cs-tse-d01:~] esxcli storage core device smart get -d t10.ATA |  JDELL. 
P320h2DMTFDGAL175SAH 


oe ee 0000000012270202CF28 

Parameter Value Threshold Worst 
Health Status OK N/A N/A 
Media Wearout Indicator N/A N/A N/A 
Write Error Count 0 0 0 
Read Error Count 0 0 100 
Power-on Hours 5890 0 100 
Power Cycle Count 21 0 100 
Reallocated Sector Count N/A N/A N/A 
Raw Read Error Rate N/A N/A N/A 
Drive Temperature 37 87 47 
Driver Rated Max Temperature 102 N/A N/A 
Write Sectors TOT Count N/A N/A N/A 
Read Sectors TOT Count N/A N/A N/A 
Initial Bad Block Count 1 0 100 


[root@cs-tse-d01:~] 


需要 注意 的 是 ， 当 一 块 磁盘 被 配置 为 RAIDO 模 式 而 不 是 直通 模式 时 ， 大 多 数 情况 下 ， 和 存储 控制 器 都 会 将 磁盘 的 S.M.A.R.T 信 
息 和 磁盘 信息 等 屏蔽 掉 ， 以 至 于 即使 磁盘 本 身 支 持 $S.M.A.R.T，ESXi 主 机 也 接收 不 到 任何 关于 磁盘 的 S.M.A.R.T 信 息 。 所 以 ， 这 也 
是 我 们 推荐 尽量 使 用 支持 直通 模式 的 存储 控制 器 的 一 个 原因 。 


8.3 Virtual SANF 400 TERES 


在 第 5 章 我 们 已 经 完整 和 详细 地 介绍 了 Virtual SAN 的 升级 步骤 。 这 一 节 将 讲述 Virtual SAN 磁 盘 格 式 升级 过 程 中 可 能 发 生 的 
错误 、 观 测 到 的 现象 和 可 能 的 解决 万 法。 


8.3.1 Virtual SAN 升 级 磁盘 格式 时 的 通用 检查 项 目 


在 Virtual SAN5.5 版 本 中 ， 磁 盘 格式 为 vV1 版 本 ，Virtual SAN6.0 引 入 了 v2 版 本 的 磁盘 格式 。 在 Virtual SAN6.2， 加 入 了 “A 
重 与 压缩 ”等 新 特性 后 ， 引 入 了 v3 版 本 的 磁盘 格式 。 本 节 以 Virtual SAN5.5 版 本 升级 到 6.0 版 本 为 例 ， 描 述 升级 过 程 中 可 能 遇 到 
的 问题 和 解决 方法 。 


为 了 查看 当前 磁盘 组 中 磁盘 的 格式 版 本 ， 可 以 在 vSphere Web Client 中 ， 切 换 到 Virtual SAN 的 管理 页 面 ， 在 磁盘 组 的 列表 
中 ， 有 一 列 “Disk Format Version" ， 如 图 8-17 所 示 。 


Disk Groups 


28 A - —"B (Q Filter ~) 
Disk Group Disks in Use State Virtual SAN ... Fault Domain Network Par... Disk Format Version 
v fA cs-ie-h02ielocal | 7 of 7 Connected Healthy Group 1 
E Disk group (0... 7 Healthy 
~ A cs-ie-h03.ie.local 7 of 7 Connected Healthy Group 1 
国 Disk group (0... Healthy 


~ [à csie-h04ielocal 7of7 Connected Healthy Group 1 
B Disk group (0... Healthy 

v [A cs-ie-h01.ie.local Connected Healthy Group 1 
E Disk group (0... Healthy 





图 8-17 磁盘 管理 


在 这 个 例子 中 ，3 台 ESXi 主 机 中 磁盘 组 的 磁盘 格式 为 v2 版 本 ， 另 外 一 人 台 ESXI 主 机 上 的 磁盘 格式 为 v1 版 本 。 我 们 必须 对 它 进 行 
升级 ， 因 为 Virtual SAN 不 支持 运行 不 同 版 本 格式 的 灰 盘 ， 即 使 运行 也 会 影响 节点 之 间 的 同步 性 能 。 


1. 升 级 磁盘 格式 前 的 预 检查 : vsan.disks stats 


为 了 升级 磁盘 格式 ， 请 确保 Virtual SAN 集 群 中 没有 磁盘 是 处 于 “不 健康 ”状态 。 如 果 需 要 查看 磁盘 的 状态 ， 可 以 运行 RVC 
中 的 vsan.disks_stats 命 令 ， 这 个 命令 会 列 出 Virtual SAN 集 群 中 所 有 主机 和 磁盘 的 名 字 以 及 状态 信息 。 售 理 员 可 以 使 用 这 个 命令 
来 验证 磁盘 当前 的 格式 化 版 本 以 及 健康 状态 。 如 果 其 中 有 任何 处 于 不 健康 状态 的 磁盘 ， 请 先 解 决 已 经 出 现 的 问题 ， 再 进行 磁盘 格 
式 的 升级 。 


在 Virtual SAN6.0 版 本 的 RVC 中 的 vsan.disks_stats 命 令 会 在 最 右 侧 一 栏 输出 磁盘 格式 的 版 本 (如 v1 或 v2) 。 如 下 面 的 示例 
所 示 ， 集 群 软件 已 经 被 升级 到 vSphere6.0 版 本 ， 但 是 磁盘 格式 仍然 为 初始 的 v1 版 本 ， 请 注意 表 中 “Status Health” 一 栏 中 显示 
AY " (v1) " : 


vsan.disks stats /localhost/ie-datacenter-04/computers/ie-vsan/ 

2014-11-10 15:08:46 +0000: Fetching Virtual SAN disk info from cs-ie-h04.ie.local 
(may take a moment) ... 

2014-11-10 15:08:46 +0000: Fetching Virtual SAN disk info from cs-ie-h01.ie.local 
(may take a moment) ... 

2014-11-10 15:08:46 +0000: Fetching Virtual SAN disk info from cs-ie-h02.ie.local 
(may take a moment) ... 

2014-11-10 15:08:46 +0000: Fetching Virtual SAN disk info from cs-ie-h03.ie.local 
(may take a moment) ... 

2014-11-10 15:08:48 +0000: Done fetching Virtual SAN disk infos 


十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 十 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 


| | | | Num|Capacity | | | Status | 
| DisplayName | Host |isSSD | Chmp | Total | Used |Reserved| Health | 
ee $e eee #----- ee A foe r posed + 
| naa.600XXX5132 | es-h01.local | SSD | O | 130.39 GB | 0€ | 0 & | OK (vl) | 
| naa.600XXX054b | cs-h01.local | MD | O | 136.50 GB | 1€ | 0 & | OK (vl) | 
| naa.600XXXaf88 | cs-h0l.local | MD | O | 136.50 GE | 1* | 0 %& | OK (vl) | 
| naa.600XXXa64c | cs-hül.local | MD | O | 136.50 GB | 1€ | 0 & | OK (vl) | 
| naa.600xXXXx8c3c | cs-h0l.local | MD | O | 136.50 GB | 1% | 0% | OK (vl) | 
| naa.600XXX5237 | cs-h0l.local | MD | o | 136.50 GB | 1$ |oo% | OK (vl) | 
| naa.600XXXd7a2 | cs-h01.local | MD | O | 136.50 GE | 1% | 0 & | OK (vl) | 
| naa.600XXX4a46 | cs-h01.local | MD | O | 136.50 GB | 1% | 0 & | OK (vl) | 
jocos ciii I petes ee EEE dee +------ 二 一 一 一 一 一 一 一 一 一 一 + 
| naa.600XXX583f | cs-h02.1ocal | SSD | O | 130.39 GE | Oo € | 0 & | OK (vl) | 
| naa.600XXXaacd | cs-h02.1ocal | MD | 25 | 136.50 GE | 10 $$ | 9 & | OK (vl) | 
| naa.600XXX4f59 | cs-h02.1ocal | MD | 18 | 136.50 GB | 18 & | 17 & | OK (wi) | 
| naa.600XXXe603 | cs-h02.1ocal | MD | 1 | 136.50 GB | 92 | 92 % | OK (wl) | 
| naa.600XXX28be | cs-h02.1ocal | MD | 21 | 136.50 GB | 26 % | 25 € | OK (vl) | 
| naa.600XXX6b4a | cs-h02.1ocal | MD | 14 | 136.50 GB | 10$ | 10 4% | OK (wl) | 
| naa.600XXX41lbf | cs-h02.1ocal | MD | 24 | 136.50 GB | 92 $ | 92 % | OK (vl) | 
fo fa n a ee ee e +------ + 一 一 一 一 一 一 一 一 一 一 - 

naa.600XXX4433 es-h03.local | SSD | O 130.39 GB | 0 & 0€ | OK (vl) 

naa.600XXX4be4 es-h03.local | MD | 52 136.50 GB | 8 & 7% | OK (vl) 

naa.600XXXaad7 es-h03.local | MD | 136.50 GB | 92 t€ 92 % | OK (vl) 

| 


| | | 
| | | 
| | | 
| naa.600XXX4e83 | cs-h03.local | MD | 2 | 136.50 GB 
| | | 
| | | 
| | | 


naa.600XXXf3ef es-h03.local | MD | 23 136.50 GB | 31 & 13 % | OK (v1) 

naa.600XXXd2e7 cs-h03.1ocal | MD | 13 136.50 GB | 7 & 7 | OK (v1) 

naa.600XXXb92d es-h03.local | MD | 14 136.50 GB | 9 & 8 *€ | OK (vl) 
—————— [e senio EE ———— eee +------ +---------- - 
| naa.600XXXdcde | cs-h04.local | SSD | | 130.39 GB | 0% | 0% | OK (vl) | 
| naa.600XXX5096 | cs-h04.local | MD | | 136.50 GB | 4% | 4% | OK (vl) | 
| naa.600XXXfa95 | cs-hü4.local | MD | | 136.50 GB | 5 $ | 4€ | OK (vl) | 
| naa.600xXXxxf09a | cs-h04.local | MD | 53 | 136.50 GB | 5 € | 5 & | OK (vl) | 
| naa.600XXX71b3 | cs-h04.1ocal | MD | 10 | 136.50GB | 5 $ |5% | OK (vl) | 
| naa.600xXxx0dab | cs-h04.local | MD | 12 | 136.50 GB | 13 $ | 12 € | OK (vl) | 
| naa.600XXX3ibe4 | cs-h04.local | MD | 10 | 136.50 GB | 5 € | 4% | OK (vl) | 
R--------2--2-2-2---- $-------------- +------ R----4----------- R------ 十 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 + 


如 果 所 有 状态 信息 都 显示 为 健康 状态 ， 那 么 丈 可 以 使 用 vsan.v2_ondisk_upgrade 命 令 来 进行 磁盘 格式 的 升级 了 。 
2. 升 级 磁盘 格式 : vsan.v2 ondisk upgrade 


这 条 命令 会 轮流 升级 Virtual SAN 集 群 中 的 每 一 台 主 机 ， 并 且 在 升级 之 前 会 对 主机 和 集群 的 状态 做 一 些 检查 ， 以 确保 主机 的 
磁盘 组 中 的 组 件 能 够 在 其 他 的 磁盘 组 上 重建 出 来 ， 然 后 它 融 会 将 这 人 台 主 机 上 的 磁盘 格式 由 v1 升 级 到 v2。 尽 管 这 条 命令 是 由 RVC 
所 发 出 的 ,但 是 我 们 仍然 能 够 在 vSphere 网 页 端 上 监控 到 与 磁盘 格式 升级 相关 的 任务 ， 即 先 有 一 个 任务 显示 为 “Remove disks 
from use by Virtual SAN” ， 然 后 出 现 另 一 个 任务 “将 Add disks to Virtual SAN 加 入 到 Virtual SAN”。 如 图 8-18 所 示 。 





Target Status Initiator Start Time Completion Time Server 











Add disks to Virtual SAN cs-ie-h02 ie local w Completed VSPHERE.LOCALA... 7ms | 10/12/2014 15:18:40 | 10/12/2014 15:19:13  ie-vcsa-03 ie local 
Remove disks from use by Virtual SAN cs-ie-h02 ie local vV Completed VSPHERE LOCALN 4ms 10/12/2014 14:47:29 10/12/2014 15:18:40 _—ie-vcsa-03.ie.local 





图 8-18 ”最 近 任 务 


在 vSphere Web Client 上 依次 单 击 Monitor 一 Virtual SAN 一 Resyncing Components 可 以 查看 到 正在 进行 同步 的 组 件 ， 并 
观察 到 剩余 需要 同步 的 组 件 大 小 ， 以 及 估计 的 完全 时 间 。 如 图 8-19 所 示 。 


Getting Started Summary | Monitor | Manage Related Objects 
Pale Complancs | Tasks | Events | Resource Resenaton RTS] vpner [cto 


“4 Resyncing Components 


Physical Disks Resyncing components view displays the status of virtual machine objects that are currently being resynchronized in the Virtual SAN cluster. 
Virtual Disks Monitoring object resynchronization is not available for clusters containing only hosts with version earlier than ESXi 6.0 


Resyncing Components e 


Resyncing components 22 
Bytes left to resync 13.39 GB 
ETA to compliance 44 minutes 


— "E Q Filter - 


Name Bytes Left to Resync 
v [J ie-ora-01-clone 147.00 MB 


v (5 VM home 147.00 MB 
Component E] cs-ie-h02.ie.local 147.00 MB 

- (à vsan-012 670.00 MB 
v & Hard disk 1 670.00 MB 





图 8-19 ”同步 组 件 页 面 


需要 注意 的 是 ， 企 这 里 没有 必要 手动 地 将 主机 置 于 维护 模式 或 者 将 数据 完全 迁移 出 主机 ，RVC 命 令 已 经 目 动 化 地 包含 了 这 些 


任务 。 
下 面 是 一 个 示例 ， 显 示 如 何 运行 这 条 合 令 ， 以 及 将 一 个 磁盘 格式 从 v1 升 级 到 v2 时 的 输出 信息 : 


/ie-vcsa-03.ie.local/vsan-dc/computers» vsan.v2 ondisk upgrade 0 


proceeding 


evacuateAllData 


Enabled v2 filesystem as default on host cs-ie-h02. 


| cs-ie-h02.ie.local | connected | 6.0.0 | 1 
| cs-ie-h03.ie.local | connected | 6.0.0 | 1 
| cs-ie-h04.ie.local | connected | 6.0.0 | 1 
| cs-ie-h0l.ie.local | connected | 6.0.0 | 1 
十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 
2014-12-10 14:49:16 +0000: Running precondition checks 
2014-12-10 14:49:19 +0000: Passed precondition checks 
2014-12-10 14:49:19 +0000 
2014-12-10 14:49:19 40000: Target file system version: vw2 
2014-12-10 14:49:19 «0000: Disk mapping decommission mode: 
2014-12-10 14:49:28 40000: Cluster is still in good state, 
2014-12-10 14:49:28 +0000 

ie.local 
2014-12-10 14:49:28 +0000: Removing Virtual SAN disk group 


2014-12-10 14:49:28 +0000: 


64b76c8cebS6e816a89d) 


2014-12-10 14:49:28 +0000: 


193351 74d82278dee6 03) 


2014-12-10 14:49:28 +0000: 


as6381622cea88O0f3aacd) 


2014-12-10 14:49:28 +0000: 


b2234d6ff4f7b1144£59 )} 


2014-12-10 14:49:28 +0000: 


Occ0Oba2a3866cft8Be28be)} 


2014-12-10 14:48:28 +0000: 


070525259 e83da9541bf) 


2014-12-10 14:49:28 +0000: 


10548f5105fc60246b4Ja) 


RemoveDiskMapping cs-ie-h02.1ie.local: 
2014-12-10 15:20:40 +0000: 
2014-12-10 15:20:40 +0000: 


64b76c8cebS6e816a89d) 


2014-12-10 15:20:40 +0000: 


19335174d82278dee6031) 


2014-12-10 15:20:40 +0000: 


a36381622caBBÜf3jaacd) 


2014-12-10 15:20:40 +0000: 


b2234d6ffAf7bl1144f59) 


2014-12-10 15:20:40 +0000: 


Üüccüba2a3B866cfBe2Bbe) 


2014-12-10 15:20:40 +0000: 


0740525258e83da9541btf) 


2014-12-10 15:20:40 +0000: 


10548f5105fc60246b4a) 


AddDisks cs-ie-h02.ie.local: 
2014-12-10 15:21:13 +0000: 


eal: 


HDD: 


HDD: 


HDD: 


HDD: 


HDD: 


HDD: 


Re-adding disks to Virtual 


HP Serial Attached SCSI 


HP 


HP 


HP 


HP 


HP 


HP 


eol: HP 
HDD: HP 
HDD: HF 
HDD: HF 
HDD: HP 
HDD: HP 
HDD: HF 
SUCCESS 


Serial 


Serial 


Serial 


Serial 


Serial 


Serial 


Attached 


Attached 


Attached 


Attached 


Attached 


Attached 


SUCCESS 


Serial 


Serial 


Serial 


Serial 


Serial 


Serial 


Serial 


Done upgrade host 


Attached 


Attached 


Attached 


Attached 


Attached 


Attached 


Attached 


Disk 
SCSI Disk 
SCSI Disk 
SCSI Disk 
SCSI Disk 
SCSI Disk 


SCSI Disk 


(naa. 


(naa. 


(naa. 


(naa. 


(naa. 


(naa. 


(naa. 


on cs-ie-h02.ie&e.local: 


600508b1001c 


600508b1001c 


600508b1001c 


600508b1001c 


600508b1001c 


600508b1001c 


600508b1001c 


SAN on cs-ie-h02.1ie&86.1local: 


SCSI Disk 
SCSI Disk 
SCSI Disk 
SCSI Disk 
SCSI Disk 
SCSI Disk 


SCSI Disk 


es-1e-h02.1e.local 


(naa. 


(naa. 


(naa. 


(naa. 


(naa. 


(naa. 


(naa. 


600508b1001c 


600508b1001c 


600508b1001c 


600508b1001c 


600508b1001c 


600508b1001c 


600508b1001c 


2014-12-10 15:21:16 +0000: 
2014-12-10 15:21:16 +0000: Cluster is still in good state, proceeding 
2014-12-10 15:21:16 +0000: Enabled v2 filesystem as default on host cs-ie-h03. 


ie.local 

2014-12-10 15:21:16 +0000: Removing Virtual SAN disk group on cs-ie-h03.ie.local: 

2014-12-10 15:21:16 +0000: SSD: HP Serial Attached SCSI Disk (naa.600508b1001c 
9c8b5f6f0d7a2be44433) 

2014-12-10 15:21:16 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c 
eefc4213ceb9b51c4be4) 

2014-12-10 15:21:16 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c 
d259ab7ef213c87eaad7) 

2014-12-10 15:21:16 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c 
2b7a3d39534ac6beb92d) 

2014-12-10 15:21:16 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c 
b11£3292fe743a0fd2e7) 


2014-12-10 15:21:16 +0000: ? HDD: HP Serial Attached SCSI Disk (naa.600508b1001c 
1a7£310269ccd51a4e83) 

2014-12-10 15:21:16 +0000: ? HDD: HP Serial Attached SCSI Disk (naa.600508b1001c 
9b93053e6dc3ea9bf3ef) 

RemoveDiskMapping cs-ie-h03.ie.local: running [================================= 


— — a a #4 fF Ff "m m m Mum m UD US UD um <<truncated>> 


正如 上 面 的 示例 所 示 ， 升 级 的 全 过 程 都 可 以 通过 RVC 进 行 监控 。 需 要 注意 的 是 ，RVC 一 次 只 升级 一 个 磁盘 组 。 对 于 某 一 个 磁 
盘 组 的 升级 ， 一 个 磁盘 首先 被 从 Virtual SAN 集 群 中 移 除 ， 移 除 时 将 数据 完整 地 迁移 到 其 他 磁盘 上 去 。 对 这 个 磁盘 格式 进行 升级 
后 ， 再 将 它 加 入 Virtual SAN 集 群 中 。 


当 升 级 完全 成 功 后 ， 会 显示 以 下 信息 : 


<<<truncated>>> 

2014-12-10 16:27:26 +0000: Cluster is still in good state, proceeding 

2014-12-10 16:27:29 +0000: Enabled v2 filesystem as default on host cs-ie-h0l. 
ie.local 

2014-12-10 16:27:29 +0000: Removing Virtual SAN disk group on cs-ie-h01.ie.local: 

2014-12-10 16:27:29 +0000: SSD: HP Serial Attached SCSI Disk (naa.600508b1001c6 
1cedd42b0c3fbf55132) 

2014-12-10 16:27:29 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c1 
6be6e256767284eaf88) 

2014-12-10 16:27:29 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c6 
4816271482a56a48c3c) 

2014-12-10 16:27:29 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c3 
88c92e817e43 £cd5237) 

2014-12-10 16:27:29 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001cc 
d5d506e7ed19c40a64c) 

2014-12-10 16:27:29 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c7 
9748e8465571b6f4a46) 


2014-12-10 16:27:29 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c2 
ee9a6446e708105054b) 

2014-12-10 16:27:29 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c3 
ea7838c0436dbe6d7a2) 

RemoveDiskMapping cs-ie-h01.ie.local: success 

2014-12-10 16:52:17 +0000: Re-adding disks to Virtual SAN on cs-ie-h01.ie.local: 

2014-12-10 16:52:17 +0000: SSD: HP Serial Attached SCSI Disk (naa.600508b1001c6 


lcedd42b0c3fbf55132) 

2014-12-10 16:52:17 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c1 
6be6e256767284eaf88) 

2014-12-10 16:52:17 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c6 
4816271482a56a48c3c) 

2014-12-10 16:52:17 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c3 
88c92e817e43 £cd5237) 

2014-12-10 16:52:17 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001cc 
d5d506e7ed19c40a64c) 

2014-12-10 16:52:17 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c7 
9748e8465571b6f4a46) 

2014-12-10 16:52:17 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c2 
ee9a6446e708105054b) 

2014-12-10 16:52:17 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c3 
ea7838c0436dbe6d7a2) 


AddDisks cs-ie-h01.ie.local: success 

2014-12-10 16:52:58 +0000: Done upgrade host cs-ie-h01.ie.local 
2014-12-10 16:52:58 +0000: 

2014-12-10 16:52:58 +0000: Done with disk format upgrade phase 
2014-12-10 16:52:58 +0000: There are 97 v1 objects that require upgrade 
2014-12-10 16:53:04 +0000: Object upgrade progress: 97 upgraded, 0 left 
2014-12-10 16:53:04 +0000: Object upgrade completed: 97 upgraded 
2014-12-10 16:53:04 +0000: Done Virtual SAN upgrade 


/ie-vcsa-03.ie.local/vsan-dc» 


3.vsan.v2 ondisk upgrade 
LA RPJeBSvsan.v2 ondisk upgradesp S Xtí3414& 7 BU, TED S XtTBJ— Tuc eB. 

1) 检查 集群 中 是 否 有 上 断 开 连接 的 主机 。 如 果 有 ， 管 理 员 有 两 个 选项 : @ 重 新 连接 这 个 主机 ; @ 将 这 个 主机 从 集群 中 移 除 。 
2) 检查 Virtual SAN 集 群 中 是 否 存 在 分 区 的 情况 。 如 果 存 在， 管理 员 需 要 在 升级 之 前 先 解决 网 络 分 区 的 问题 。 


3) 检查 是 否 有 ESXi 主 机 存在 于 vCenter 的 仓库 中 ， 但 是 却 不 在 Virtual SAN 集 群 中 。 这 种 情况 可 能 发 生 的 时 间 如 下 : 管理 员 
通过 ESXCLI 来 管理 Virtual SAN 集 群 时 ， 将 某 个 主机 加 入 到 其 他 Virtual SAN 集 群 中 。 在 升级 前 ， 管 理 员 需要 将 这 种 主机 加 回 到 
正确 的 Virtual SAN 集 群 中 来 。 


4) 检查 是 否 有 主机 在 Virtual SAN 集 群 中 ， 但 是 却 没有 被 vVCenter 所 管理 。 管 理 员 需要 使 Virtual SAN 和 集群 的 成 员 和 vCenter 
中 集群 的 成 员 一 致 。 


5) 检查 ESXi 版 本 ， 集 群 中 所 有 的 主机 都 应 该 局 于 6.0 版 本 。 管 理 员 需 要 确认 所 有 的 主机 都 航 预 先 升 级 到 6.0 之 后 的 版 本 。 


6) 磁盘 的 自动 声明 模式 应 该 在 升级 前 被 蔡 用 。 因 为 如 果 磁 盘 的 自动 声明 模式 被 启用 ， 那 么 磁盘 组 就 不 能 被 移 除 ， 也 就 不 能 
将 数据 迁移 到 其 他 磁盘 组 。 管 理 员 可 以 通过 vSphere 网 页 客户 端 禁 用 这 个 设置 ， 或 通过 如 下 RVC 命 令 : 


- vsan.cluster, change autoclaim—d: 4€ € Virtual SAN 集 群 中 是 否 存 在 不 可 访问 的 对 象 。 如 果 存 在 不 可 访问 的 对 象 ， 管 理 员 应 
该 使 用 如 下 的 RVC 命 令 来 清除 这 些 不 可 访问 的 对 象 。 


: vsan.putge inaccessible vswp. objects: 检查 被 Virtual SAN 所 使 用 但 是 不 健康 的 磁盘 。 管 理 员 可 以 使 用 RVC 命 
邻 “vsan.disks_stats” 来 检查 所 有 使 用 中 的 磁盘， 并 且 手 动 解决 出 现 的 问题 ， 如 用 新 的 磁盘 替换 坏 的 磁盘 。 如 果 用 户 选择 “ 降 
级 ”模式 ， 检 查 Vittual SAN 集 群 中 是 否 还 有 v2 版 本 的 磁盘 。 如 果 用 户 确 实 需要 v1 版 本 的 Virtual SAN 人 和 集群， 那么 所 有 v2 版 本 的 对 人 象 
都 应 该 被 移 除 。 “降级 ”模式 的 设置 是 为 了 当 用 户 遇 到 问题 而 希望 退回 到 v1 版 本 时 进行 回 滚 。 


4. 升 级 磁盘 格式 后 的 检查 : vsan.check limits 


在 升级 之 后 ， 每 个 ESXi 主 机 支持 的 组 件数 量 会 变 为 90000。 这 项 变动 可 以 通过 RVC 命 令 vsan.check limits 来 确认 : 


/ie-vcsa-03.ie.local/vsan-dc» vsan.check limits computers/vsan/ 

2014-12-10 16:54:14 +0000: Querying limit stats from all hosts 

2014-12-10 16:54:18 +0000: Fetching Virtual SAN disk info from cs-ie-h03.ie.local 
(may take a moment) 

2014-12-10 16:54:18 +0000: Fetching Virtual SAN disk info from cs-ie-h01.ie.local 
(may take a moment) 

2014-12-10 16:54:18 +0000: Fetching Virtual SAN disk info from cs-ie-h04.ie.local 
(may take a moment) 

2014-12-10 16:54:18 +0000: Fetching Virtual SAN disk info from cs-ie-h02.ie.local 
(may take a moment) 


2014-12-10 16:54:20 +0000: Done fetching Virtual SAN disk infos 


| cs-ie-h02.ie.local | Assocs: 156/45000 | Components: 97/9000 | 
| | Sockets: 26/10000 | naa.600508b1001c0cc0ba2a3866cf8e28be: 9$ | 


naa.600508b1001c19335174d82278dee603: 3%| 
naa.600508b1001c10548f5105fc60246b4a: 3%| 
naa.600508b1001c07d525259e83da9541bf: 1%| 
naa.600508b1001c64b76c8ceb56e816a89d: 0%| 
naa. 600508b1001ca36381622ca880f3aacd: 2%| 
naa.600508b1001cb2234d6ff4f7b1144£59: 3%| 
Components: 97/9000 | 
naa.600508b1001c9c8b5f6f0d7a2be44433: 0% | 


Assocs: 151/45000 
Sockets: 26/10000 
Clients: 0 | naa.600508b1001cd259ab7ef213c87eaad7: 4%| 
naa.600508b1001c1a7£310269ccd51a4e83: 17% | 
naa.600508b1001c9b93053e6dc3ea9bf3ef: 7%| 
naa.600508b1001ceefc4213ceb9b51c4be4: 2%| 
naa.600508b1001c2b7a3d39534ac6beb92d: 2%| 
naa.600508b1001cb11f3292fe743a0fd2e7: 3%| 
Assocs: 438/45000 Components: 97/9000 | 


| 

| 

| 

| 

| 

| 
cs-ie-h03.ie.local | 
| 
| 
| | 
| | 
| | 
| | 
| | 
| | 
| Sockets: 42/10000 | naa.600508b1001c846c000c3d9114ed71b3: 6%| 
| | 
| | 
| | 
| | 
| | 
| | 
| | 
| 
| 
| 
| 
| 
| 
| 
| 


Owners: 17 


cs-ie-h04.ie.local 


Clients: 68 naa.600508b1001c258181f£0a088f6e40dab: 6%| 
naa.600508b1001cf639237aaffff152af66: 0%| 
naa.600508b1001cadff5d80ba7665b8f09a: 15%| 
naa.600508b1001c51f3a696fe0bbbcb5096: 8%| 
naa.600508b1001c4b820b4d80f9f8acfa95: 20%| 
naa.600508b1001c6a664d5d576299cec941: 4%| 
Components: 0/9000 | 


Owners: 68 


cs-ie-h01.ie.local | Assocs: 1/45000 
Sockets: 4/10000 


Clients: 0 


| naa.600508b1001c16be6e256767284eaf88: 0% | 
| naa.600508b1001c3ea7838c0436dbe6d7a2: 0% | 
Owners: 0 | naa.600508b1001c388c92e817e43fcd5237: 0%| 
| naa.600508b1001ccd5d506e7ed19c40a64c: 0%| 
| naa.600508b1001c61cedd42b0c3fbf55132: 0% | 
| naa.600508b1001c64816271482a56a48c3c: 0% | 
| naa.600508b1001c79748e8465571b6f4a46: 0% | 
| 


naa.600508b1001c2ee9a6446e708105054b: 0% | 


5.vsan.disks stats 


最 后 ，v2 版 本 的 磁盘 格式 仍然 可 以 通过 前 面 介绍 过 的 vsan.disks_stats 进 行 检查 ， 以 确认 实现 了 版 本 升级 。 磁 盘 格 式 的 版 本 
言 息 在 如 下 输出 的 最 后 一 列 “Status Health” 中 : 


> vsan.disks stats computers/vsan/ 


+---------------- +-------------- +----- +----+----------- +------ +------ +---------- + 
| | | | Num | Capacity | | | Status | 
| DisplayName | Host lisSSD|Comp| Total | Used |Reserved|Health | 
+---------------- +-------------- +----- +----+----------- +------ +------ +---------- + 
| naa.600XXX5132 | cs-h0l.local | ssD | 0 | 186.27 GB |0% |0% | OK (v2) | 
| naa.600XXXd7a2 | cs-h0l.local | MD | 0 | 136.69GB |0% | 0% | OK (v2) | 
| naa.600XXX5237 | cs-h0l.local | MD | 0 | 136.69 GB |0% |0% | OK (v2 | 


| naa.600XXXa64c | cs-h01.1ocal | MD | O | 136.69 GB | 0$ |03% | OK (v2) | 
| naa.600XXX054b | cs-h01.1ocal| MD | O | 136.69GB | 0% |0% | OK (v2) | 
| naa.600XXXaf88 | cs-h01.local | MD | O | 136.69 GB | 0% |0% | OK (v2) | 
| naa.600XXx4a46 | cs-h01.1ocal | MD | O | 136.69 GB | 0% |03% | OK (v2) | 
| naa.600XXX8c3c | cs-h01.local | MD | O | 136.69 GB | 0% |0% | OK (v2) | 
+---------------- +-------------- +----- +----+----------- +------ +------ +---------- + 
| naa.600xxxa89d | cs-h02.1ocal | SSD | O | 186.27 GB | 0% |0% | OK (v2) | 
| naa.600XXX28be | cs-h02.local | MD | 17 | 136.69 GB | 10 $ | 10 $ | OK (v2) | 
| naa.600XXX4f59 | cs-h02.1ocal | MD | 15 | 136.69 GB | 4$ | 4$ | OK (v2) | 
| naa.600XXXe603 | cs-h02.1ocal | MD | 17 | 136.69 GB | 28$ |4% | OK (v2) | 
| naa.600XXX6b4a | cs-h02.1ocal | MD | 17 | 136.69 GB | 3$ |3% | OK (v2) | 
| naa.600XXXaacd | cs-h02.1ocal | MD | 14 | 136.69 GB | 3$ | 3% | OK (v2) | 
| naa.600XXX41bf | cs-h02.1ocal | MD | 17 | 136.69GB | 2$ |2% | OK (v2) | 
+---------------- +-------------- +----- +----+----------- +------ +------ +---------- + 
| naa.600XXX4433 | cs-h03.1ocal | ssD | 0 | 186.27GB |0% | 0$ | OK (v2) | 
| naa.600XXXb92d | cs-h03.1ocal | MD | 19 | 136.69 GB | 3 $ |3% | OK (v2) | 
| naa.600XXX4be4 | cs-h03.1ocal | MD | 15 | 136.69GB | 3$ | 3 % | OK (v2) | 
| naa.600XXXaad7 | cs-h03.1ocal | MD | 15 | 136.69 GB | 4% | 48% | OK (v2) | 
| naa.600XXXd2e7 | cs-h03.local | MD | 13 | 136.69 GB | 3$ | 3 % | OK (v2) | 
| naa.600XXXf3ef | cs-h03.1ocal | MD | 17 | 136.69 GB | 8% | 88% | OK (v2) | 
| naa.600XXX4e83 | cs-h03.local | MD | 18 | 136.69 GB | 18 $ | 18 % | OK (v2) | 
+---------------- +-------------- +----- +----+----------- +------ +------ +---------- + 
| naa.600XXXaf66 | cs-h04.1ocal | SSD | 0 | 186.27 GB | 0% |0% | OK (v2) | 
| naa.600XXXf09a | cs-h04.local | MD | 18 | 136.69 GB | 16 $ | 11 % | OK (v2) | 
| naa.600XXX5096 | cs-h04.local | MD | 20 | 136.69 GB | 8$ | 28% | OK (v2) | 
| naa.600XXXfa95 | cs-h04.1ocal | MD | 14 | 136.69 GB | 21 $ | 1% | OK (v2) | 
| naa.600XXXc941 | cs-h04.1ocal | MD | 13 | 136.69 GB | 5% |1% | OK (v2) | 
| naa.600xxx0dab | cs-h04.1ocal | MD | 16 | 136.69 GB | 7% |2% | OK (v2) | 
| naa.600XXX71b3 | cs-h04.1ocal | MD | 16 | 136.69 GB | 6% |1% | OK (v2) | 
+---------------- +-------------- +----- +----+----------- +------ +------ +---------- + 


8.3.2 ”影响 升级 的 因素 之 一 : 不 可 访问 的 swap 对 象 


在 升级 过 程 中 ， 如 果 磁 盘 有 任何 不 可 访问 的 swap 对 象 ， 都 会 阻止 数据 从 一 个 磁盘 组 上 完全 迁 出 。 当 然 ， 这 也 融会 阻止 磁盘 
格式 从 v1 升级 到 v2。 


> vsan.v2 ondisk upgrade ie-vcsa-03.ie.local/vsan-dc/computers/vsan/ 


R---------2-2-2-2-2------- +----------- +------------- $---------------- +---------------- + 
| Host | State | ESX version | v1 Disk-Groups | v2 Disk-Groups | 
+-------------------- +----------- +------------- +---------------- +---------------- + 
| cs-ie-h02.ie.local | connected | 6.0.0 | 1 | 0 | 
| cs-ie-h03.ie.local | connected | 6.0.0 | 1 | 0 | 
| cs-ie-h04.ie.local | connected | 6.0.0 | 1 | 0 | 
| cs-ie-h01.ie.local | connected | 6.0.0 | 1 | 0 | 
+-------------------- +----------- +------------- +---------------- +---------------- + 


2014-12-10 14:19:00 +0000: Running precondition checks 
2014-12-10 14:19:01 +0000: Detected inaccessible objects in Virtual SAN. Upgrade 


has been 

2014-12-10 14:19:01 +0000: halted. Please fix or remove them and try again. 
Following 

2014-12-10 14:19:01 +0000: inaccessible objects were detected: 

2014-12-10 14:19:01 +0000: 34723e54-7840-c72e-42a5-001018 5def78\n4a743e54-£452- 
4435-1d15-001f29595f9f\n3a743e54-a8c2-d13d-6d0c-001f29595f9f\n6e713e54-4819- 
af51-edb5-0010185def78\n2d6d3e54-848f-3256-b7d0-001b21168828\nf0703e54-4404- 
c85b-0742-001f29595fFf9F\n76723e54-74a3-0075-c1a9-001b21168828\ne4c33b54-1824- 
537c-472e-0010185def78\nef713e54-186d-d77c-b£27-001b21168828\n77703e54-0420- 
3a81-dcla-001f29595f9f\n30af3e54-24fe-4699-£300-001b21168828\n58723e54-047e- 
86a0-4803-001b21168828\n85713e54-dcbe- fea6-8205-001b21168828\nc2733e54-ac02- 
78ca-£0ce-001f29595fFf9F\n94713e54-08e1-18d3-f£fd7-001b21168828\nf0723e54-18d2- 
79£5-be44-001b21168828\n3b713e54-9851-31f6-2679-001f29595fF9F\nfd743e54-1863- 
c6fb-1845-001f29595f9F\n94733e54-e81c-c3fe-8bfc-001b21168828 


示例 中 ，vswp 文 件 (虚拟 机 swap) ZATSAPAIRMBN, TSEEHAWVATESACHRRUMÁASÉ D. ESKENA EENI E, 
在 Virtual SAN 中 ， 一 个 vswp 文 件 被 存放 为 





有 些 情 况 会 导致 不 可 访问 的 swap 对 稼 出现 ， 如 vsphere5.5 和 版 本 中 存在 一 个 已 知 漏洞 。 例 如 ， 正 好 在 删除 某 个 对 象 时 ， 包 合 

这 个 对 和 象 的 主机 突然 宕 机 融会 导致 对 象 删除 失败 。 在 这 种 情况 下 ， 一 个 vswp 对 和 象 的 大 部 分 组 件 都 会 被 删除 ， 但 是 还 会 有 少 部 分 

的 对 象 未 被 删除 。 当 大 机 的 ESXi 主 机 重新 上 线 后 ， 在 这 合 主机 上 的 这 些 少 部 分 的 组 件 融会 重新 出 现 。 这 个 时 候 ， 它 们 融 变 成 不 可 
访问 的 对 象 。 这 些 对 象 会 溪 费 空间 ， 同 时 也 会 对 某 泽 操作 造成 影响 ， 如 “完整 数据 迁移 ”、 进 入 维护 模式 等 。 


因此 ， 宫 理 员 不 能 将 某 个 磁盘 组 的 数据 完整 地 迁移 出 去 ， 也 融 不 能 进行 磁盘 格式 的 升级 。 季 运 的 是 ，RVC 中 已 经 提供 了 一 个 
vsan.purge inaccessible vswp_objects 命 令 ， 用 于 将 不 可 访问 的 Swap 对 象 强制 删除 ， 示 例如 下 : 


> vsan.purge inaccessible vswp objects -h 
usage: purge inaccessible vswp objects [opts] cluster. or host 
Search and delete inaccessible vswp objects on a virtual SAN cluster. 
cluster or host: Path to a ClusterComputeResource or HostSystem 
--force, -f: Force to delete the inaccessible vswp objects quietly (no 
interactive confirmations) 


--help, -h: Show this message 


8.3.3 ”影响 升级 的 因素 之 二 : 资源 不 足以 完成 操作 


因为 在 升级 过 程 中 ， 需 要 将 数据 完全 从 一 个 磁盘 组 中 迁 出 ， 然 后 才能 升级 到 v2 和 版 本 ， 所 以 管理 员 需 要 确认 人 在 Virtual SANS 
群 中 有 足够 的 空 闪 空间 来 进行 数据 的 迁移 操作 。 如 果 在 集群 中 没有 足够 的 空间 ， 那 么 升级 过 程 中 可 能 会 报告 如 下 信息 : 


/ie-vcsa-03.ie.local/vsan-dc/computers- vsan.v2 ondisk upgrade 0 


E E E R——---------2-2-22l24------------ 三 一 一 二 二 
| Host | State | ESX version | vl Disk-Groups | v2 Disk-Groups | 
于 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 于 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 于 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| cs-ie-h02.ie.local | connected | 6.0.0 | 1 | o | 
| cs-ie-h03.ie.local | connected | 6.0.0 | 1 | 0 | 
| cs-ie-h04.ie.local | connected | 6.0.0 | 1 | 0 | 
| cs-ie-hO0l.ie.local | connected | 6.0.0 | 1 | o | 
4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 于 一 一 一 一 一 一 一 一 一 一 一 于 一 一 一 一 一 一 一 一 一 一 一 一 一 于 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 


2014-12-10 14:42:29 +0000: Running precondition checks 

2014-12-10 14:42:32 +0000: Passed precondition checks 

2014-12-10 14:42:32 +0000: 

2014-12-10 14:42:32 40000: Target file system version: v2 

2014-12-10 14:42:32 40000: Disk mapping decommission mode: evacuateAllData 

2014-12-10 14:42:38 +0000: Cluster is still in good state, proceeding 

2014-12-10 14:42:41 +0000: Enabled v2 filesystem as default on host cs-ie-h02.1ie6.1local 

2014-12-10 14:42:41 +0000: Removing Virtual SAN disk group on cs-ie-h02.ie.local: 

2014-12-10 14:42:41 +0000: SSD: HP Serial Attached SCSI Disk (naa.600508b1001c64b 
J6c8cebb56eBl6aB89d) 

2014-12-10 14:42:41 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c193 
315174d82278dee603) 

2014-12-10 14:42:41 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001ca3i6 
381622ca880f3aacd) 

2014-12-10 14:42:41 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001cb22 


jaàd6rfr4r7b1144rT535) 

2014-12-10 14:42:41 40000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c0cc 
Üba2a3866cfB8e28be) 

2014-12-10 14:42:41 +0000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c07d 
52525898e&e83da9541bf) 

2014-12-10 14:42:41 40000: HDD: HP Serial Attached SCSI Disk (naa.600508b1001c105 
ABE£5105fc60246b4a) 

RemoveDiskMapping cs-ie-h02.i1e6.1o0cal: SystemError: A general system error 


occurred: Failed to evacuate data for disk uuid 52271ef2-2c6e-cb55e-2b2c- 
&fd76b0aalàd3 with error: Out of resources to complete the operation 
2014-12-10 14:42:45 40000: Failed to remove this disk group from Virtual SAN 
2014-12-10 14:42:45 40000: A general system error occurred: Failed to evacuate 
data for disk uuid 52271ef2-2c6e-cb55e-2b2c-6tfd76b0aalà3 with error: Out of 
resources to complete the operation 
2014-12-10 14:42:48 40000: Failed to remove disk group from Virtual SAN, 
aborting. 
2014-12-10 14:42:48 +0000: Upgrade tool stopped due to errors. 


/ie-vcsa-03.ie.local/vsan-dc/computers- 


需要 注意 的 是 ， 在 这 里 故障 域 也 需要 被 考虑 进来 。 如 果 Virtual SAN 集 群 中 配置 了 故障 域 ， 那 么 就 需要 确保 在 同一 个 故障 域 
中 有 足够 的 空间 来 容纳 从 其 他 主机 上 完全 迁移 过 来 的 数据 。 


一 个 弟 见 的 问题 是 ， 如 果 一 个 Virtual SAN 集 群 中 确实 没有 足够 的 剩余 空间 来 进行 完整 数据 迁移 ， 如 一 个 集群 中 只 有 3 人 台 
ESXi 主 机 并 且 使 用 率 很 高 ， 那 么 有 什么 推荐 的 可 行 性 升级 方法 呢 ? 


vsan.v2 ondisk upgrade 命 令 中 有 一 个 选项 为 “allow-reduced-redundancy” (人 允许 元 余 度 减少 ) 。 需 要 注意 的 是 ， 如 
果 采 用 这 种 方法 ， 束 会 有 数据 丢失 的 风险 。 但 不 幸 的 是 ， 在 这 种 情况 下 没有 其 他 可 行 的 方法 来 进行 升级 了 。 在 这 个 升级 过 程 中 ， 
虚拟 机 会 运行 在 没有 数据 副本 保护 的 情况 之 下 ， 如 果 在 这 一 升级 过 程 中 发 生 了 任何 的 失效 情况 ， 都 可 能 会 导致 数据 丢失 。 


当 米 用 这 种 方法 时 ， 升 级 过 程 会 在 每 个 FSXi 主 机 上 每 次 只 删除 一 个 磁盘 组 ， 升 级 完成 后 ， 再 利用 相同 的 磁盘 新 建 一 个 磁盘 
组 ， 然 后 在 新 的 磁盘 组 上 重建 被 删除 的 组 件 。 当 这 个 操作 在 第 一 人 ESXi 主机 上 完成 后 ， 它 再 转 向 下 一 台 主 机 ， 直 到 集群 中 所 有 的 
主机 上 的 磁盘 格式 都 被 升 级 到 v2 版 本 。 但 是 ， 管 理 员 需 要 时 刻 注意 ， 在 这 一 升级 过 程 中 ， 虚 拟 机 会 处 于 不 受 保 护 的 状态 。 


84 ABs 


在 使 用 Virtual SAN 的 过 程 中 ， 可 能 会 直到 与 存储 或 网 络 相 天 的 问题 ， 大 部 分 的 问题 都 具有 期 望 的 行为 ， 并 有 相应 的 解决 方 
案 。 本 章 旨 在 帮助 读者 快速 定位 使 用 Virtual SAN 过 程 中 直到 的 问题 ， 并 介绍 相应 的 可 能 解决 方案 。 本 章 的 内 容 涵 苹 用 户 使 用 
Virtual SAN 过 程 中 所 遇 到 的 大 部 分 问题 ， 读 者 可 将 本 章 作 为 问题 排查 手册 ， 对 所 遇 到 的 问题 进行 快速 索引 。 


BARD PIELE 
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第 10 章 ”基于 VMware 混 合 架 构 Virtual SAN Exchange Server k14 37 3X, 
第 11 章 ”基于 VMwate 混 合 架构 Virtual SAN 的 SQL Server 最 佳 实践 

第 12 章 基于 VMwate 混 合 架 构 Virtual SAN 的 Oracle RAC R1 F 3X, 

第 13 章 ”基于 VMware 混 合 架构 Virtual SAN 的 Horizon View 最 佳 实践 


在 本 书 的 最 佳 实践 部 分 ,我们 提供 了 Virtual SAN 在 常用 企业 关键 应 用 中 的 解决 方案 。 通 过 对 Exchange、SQL Server, 
Oracle 和 VDI 在 多 种 严 苟 场景 下 的 测试 ， 验 证 了 Virtual SAN 对 企业 关键 应 用 的 恨 好 支持 。 读 者 可 以 根据 需要 阅读 相应 章节， 结 
合 实际 工作 以 解决 日 单 工 作 中 遇 到 的 方案 问题 。 


在 所 有 这 些 企业 关键 应 用 解决 方案 中 都 会 使 用 到 VMware 的 以 下 几 项 技术 ， 我 们 将 一 一 进行 简单 介绍 。 
: VMware vSphere 
: VMware Virtual SAN 
: VMware Virtual SAN Stretched Cluster 
: VMware vSphere Replication 
: VMware vSphere Data Protection 
: VMware Site Recovery Manager 
VMware vSphere 


VMware vSphere € VARA FAEERE, RAP ROB RIS TM RMAF Rel 


应 两 业 需 求 。vSphere 能 够 加 快 现 有 数据 中 心 云 计算 的 转变 ， 支 持 公 有 云 产 品 ， 成 为 行业 最 佳 混合 云 模型 的 基础 。 
VMware Virtual SAN 


VMware Virtual SAN 是 VMware 基 于 起 融合 架构 的 软件 定义 存储 解决 方案 ,其 软件 驱动 的 架构 罕 密 融合 了 来 自 x86 服 务 器 
的 计算 、 网 络 和 存储 。Virtual SAN 通 过 集群 服务 器 中 的 内 存 设备 和 硬盘 (HDD) 提供 高 性 能 、 高 弹性 的 共享 存储 。 


Virtual SAN 及 用 企业 级 存储 服务 同 虚拟 化 产品 环境 提供 可 预见 的 扩展 性 与 全 闪存 性 能 一 所 有 这 些 只 是 传统 专用 存储 阵列 染 
构 的 一 小 部 分 。 融 如 vsphere 一 样 ，Virtual SAN 提 供给 用 尸 灵活 可 控 的 硬件 选择 沁 围 ， 用 户 可 实现 轻松 部 署 和 管理 以 适应 各 种 
IT 负载 及 使 用 场景 。 


Virtual SAN 可 以 配置 为 混合 或 全 闪存 存储 。 在 混合 架构 中 ，Virtual SAN 通 过 采用 闪存 设备 获得 优异 的 性 能 ， 采 用 机 械 硬 盘 
获得 可 观 的 容量 。 在 全 闪存 架构 中 ，Virtual SAN 使 用 内存 设备 (PCle/NMVe SSD、UltraDimm SSDEVSAS/SATA SSD) ZEfz 
和 存储 数据 ， 提 供 极 致 存储 性 能 。Virtual SAN 是 分 布 式 存储 系统 ， 其 采用 基于 存储 策略 的 管理 特性 来 提供 集中 化 的 绾 理 和 以 应 
用 为 中 心 的 存储 服务 与 功能 。 管 理 员 可 以 在 VMDK 级 别 定制 具体 存储 策略 ， 如 容量 、 性 能 和 可 用 性 ， 该 策略 实现 了 对 系统 的 动 
人 态 调整 与 负载 均衡 ， 使 每 台 虚 拟 机 都 拥有 对 应 合适 的 资源 级 别 。 


VM | VM VM VM | VM | 
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Virtual SAN Datastore 





VMware Virtual SAN Stretched Cluster 


Virtual SAN6.1 引 入 了 延伸 集群 特性 。Virtual SAN Stretched Cluster 使 用 户 可 以 横 跨 多 个 数据 中 心 部 署 单 个 Virtual SAN 
集群 。Virtual SAN Stretched Cluster 可 以 避免 站 点 灾难 造成 的 关键 应 用 系统 停机 。 


Virtual SAN Stretched Cluster 以 故障 域 为 基础 构建 。 故 障 域 特性 在 Virtual SAN6.0 中 引入 机 架 感 知 功 能 ， 该 特性 允许 用 户 
对 多 个 服务 器 机 架 上 的 多 台 主 机 划分 故障 域 ， 从 而 确保 虚拟 机 的 多 份 磁 盘 副 本 不 会 被 部 团 到 相同 的 逻辑 疏 障 域 或 服务 器 机 架 中 。 
Virtual SAN Stretched Cluster 需 要 基于 3 个 站 点 的 3 个 故障 域 (两 个 双 活 站 点 和 一 个 见证 站 上 操 ) 。 其 中 ， 见 证 站 点 用 于 见证 虚 
拟 设备 的 可 用 性 ， 其 主要 用 于 仓储 见证 对 象 和 集群 元 数据 信息 ， 并 在 故障 友 生 时 提供 集群 仲裁 服务 。 
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如 图 所 示 ，Virtual SANSIE(REEBESe EIAS BZ IR5SERPVLPJRSCERRESSEX, Virtual SAN 的 见证 位 于 站 点 C， 其 最 
大 支持 来 自 站 点 A 或 站 点 B 的 200 毫 秒 往返 网 络 延迟 。 站 点 和 站 点 之 间 的 市 宽 要 求 为 : 


带宽 (B) 二 写 入 带宽 (WB) X 数据 倍数 (DM) X 重 同步 倍数 (MR) 
- 数据 倍数 (DM) : Data Mutiplier， 包 含 了 VSAN 传 输 及 其 他 相关 操作 的 元 数据 开销 。VMwarc 建 议 设 为 1.4。 


- 重 同步 倍数 (MR) : Resynchronization， 将 可 能 的 重 同 步 的 事件 考虑 在 内 。VMware 建 议 规划 带宽 时 ， 在 最 大 带宽 基础 之 


上 ， 额 外 预 留 25%， 用 于 偶尔 可 能 发 生 的 重 同步 需求 ， 即 建议 设置 该 值 为 1.25。 


举例 : 假设 Virtual SAN 上 工作 负载 为 每 秒 2000 个 写 操 作 ， 写 IO 大 小 为 44B， 这 意味 看 写 市 宽 为 8MB/s， 或 者 64Mby/s。 其 
网 络 市 金 要 求 力 : 


B —8MB/s X 1.4 X 1.25 —8MB/s X 1.75 — 14MB/s 3,4:112Mb/s 
VMware vSphere Replication 
VMware vSphere Replicationze VMware vCenter 的 扩展 ， 其 提供 基于 虚拟 机 监管 程序 的 虚拟 机 备份 和 恢复 方案 。 


vSphere Replication 可 以 蔡 代 基于 传统 仓储 的 备份 。 通 过 使 用 vsphere Replication， 用 尸 可 以 备份 服务 器 以 满足 其 负载 均 
衡 需 要 。 在 用 户 设 置 完 备份 基础 设施 后 ， 用 户 可 以 选择 虚拟 机 在 不 同 的 恢复 点 目标 (RPO) 进行 备份 。 用 己 可 以 局 用 多 时 间 点 
保留 策略 来 存储 多 个 虚拟 机 备份 实例 。 在 恢复 后 ， 保 留 的 实例 可 以 作为 恢复 虚拟 机 的 快照 。 


VMware vSphere Data Protection 


VMware vSphere Data Protection 是 基于 磁盘 备份 和 恢复 的 解决 方案 。vSphere Data Protection 使 用 VMware vCenter 
党 理 ， 通 过 在 存储 备份 时 的 重 删 功 能 有 效 提高 仓储 效率 ， 并 能 集中 高 效 地 管理 备份 作业 。 


vSphere Data Protection6.0 是 基于 软件 的 ， 用 于 创建 虚拟 机 、 虚 拟 服务 器 以 及 数据 库 镜 像 级 备份 的 解决 方案 。vSphere 
Data Protection 可 以 通过 应 用 插件 备份 微软 SQL Server、Exchange 邮 件 服务 器 和 SharePoint 服 务 器 等 关键 业务 。 


vSphere Data Protection6.0 支 持 基 于 微软 SQL Server 数 据 库 、SQL Server AlwaysOn 数 据 库 组 和 基于 SQL Server 故 障 转 


移 集 群 的 数据 库 备 份 和 恢复 。vSphere Data ProtectionfESQL Server 中 的 代理 可 以 识别 SQL Server AlwaysOn 数 据 库 组 中 的 重 
复 备 份 。 用 户 可 以 在 远程 位 置 部 署 vyphere Data Protection 外 部 代理 ， 以 此 间接 访问 受 保护 的 虚拟 机 存储 。 


VMware Site Recovery Manager 


VMware Site Recovery Manager6.1 是 基于 VMware vCenter 管 理 的 高 可 用 解决 方案 ， 为 VMware 客户 提供 灾难 恢复 、 站 
点 迁移 以 及 非 破坏 性 测试 的 功能 ， 它 与 YMware vCenter Server 以 及 VMware vSphere Web Client 实 现 了 无 颖 结合 。 


VMware Site Recovery Manager 可 以 与 各 种 备份 解决 方案 结合 使 用 ， 包 括 通 过 vSphere Replication 自 动 化 处 理 迁 移 、 恢 
复 、 测 试 、 再 保护 ， 以 及 故障 恢复 虚拟 机 工作 负载 。 


VMware Site Recovery Manager 服 务 器 可 以 在 站 点 之 间 协 调 VMware vCenter Server 的 操作 。 一 旦 受 保护 站 点 的 虚拟 机 
厂 机 ， 在 恢复 站 点 的 虚拟 机 副本 融会 自动 司 动 。 通 过 使 用 受 保护 站 点 的 数据 备份 ， 这 些 虚拟 机 可 以 提供 相同 的 服务 。 





第 9 和 章 ”HClbench 一 一 起 融合 染 构 目 动 化 存储 性 骨 测 试 工具 


9.1 HClbench 介 绍 


性 能 评估 是 任何 存储 解决 万 案 的 重要 组 成 部 分 。 在 既定 配置 下 ， 更 高 性 能 的 解决 万 案 可 以 支持 更 多 的 工作 负载 ， 从 而 更 好 地 
满足 应 用 需求 ， 并 且 最 大 限度 地 减少 潜在 的 性 能 问题 ， 使 其 更 具 成 本 效益 。 因 此 ， 用 尸 倾向 于 选择 更 高 性 能 的 解决 万 案 。 


由 于 性 能 评估 有 无 限 种 可 能 的 测试 场景 ， 并 且 许 多 厂商 出 于 市 场 营 销 和 竞争 的 考虑 ， 不 鼓励 公开 性 能 测试 的 结果 。 因 此 ， 用 
户 很 难 直 接 从 公开 信息 中 获取 可 对 比 的 性 能 测试 结果 。 这 使 T 专 业 人 员 不 得 不 自己 运行 测试 ， 并 分 析 其 测试 结果 。 这 一 方法 已 成 
为 评估 外 部 仓储 阵列 方面 的 标准 做 法 。 这 也 为 新 一 代 超 融 合 解决 万 案 如 VMware Virtual SAN 的 用 尸 市 来 了 新 的 测试 挑战 。 


在 超 融 合 染 构 中 ， 每 台 服 务 器 在 设计 之 初 束 补 定 义 为 用 来 运行 多 种 应 用 的 虚拟 机 ， 并 向 应 用 程序 提供 可 靠 的 存储 池 。 因 此 ， 
测试 超 融 合 染 构 的 最 好 模式 应 该 是 调用 多 台 测 试 虚拟 机 ， 同 时 访问 多 个 VMDK， 以 此 模拟 群集 的 繁忙 工作 。 然 而 ， 主 流 的 存储 
性 能 测试 工具 不 直接 支持 这 种 测试 模式 。 为 测试 超 融 合 染 构 的 性 能 ，|T 专 业 人 员 不 得 不 手动 创建 多 个 测试 虚拟 机 ， 并 在 虚拟 机 上 


配置 VMDK、 安 委 配 置 传统 测试 工具 以 生成 工作 负载 、 监 控 采 集 相 天 数据 ， 以 完成 性 能 测试 。 这 需要 化 费 很 多 时 间 ， 并 且 可 能 
引入 测试 误 医 。 


为 了 解决 这 一 问题 ， VMware 推出 了 存储 性 能 自动 化 测试 工具 HClbench。 该 测试 工具 并 非 VMware 为 测试 自身 超 融合 架构 
性 能 而 独立 开发 ， 其 通过 调用 在 大 型 集群 中 普遍 使 用 的 Vdbench 测 试 工 具 实现 了 性 能 测试 的 自动 化 ， 使 用 户 可 以 方便 快捷 地 对 
各 类 外 部 存储 阵列 进行 标准 性 能 测试 。 用 尸 只 需要 在 测试 前 指定 需要 运行 测试 的 参数 ，HClbench 残 会 在 测试 时 目 动 创建 虚拟 
机 ， 调 用 Vdbench 对 集群 完成 相应 的 测试 过 程 。 

HClbench 虽 在 通过 一 致 和 可 控 的 方式， 简化 和 加 速 性 能 测试 的 概念 验证 (POC) 。 该 工具 可 以 实现 全 目 动 化 的 端 到 并 虚拟 
机 部 署 、 测 试 、 协 调 负 载运 行 、 汇 忌 测试 结果 ， 以 及 排除 故障 收集 必要 数据 的 全 过 程 。 特 别 需 要 说 明 的 是 ，HClbench 支 持 一 键 
执行 多 个 测试 用 例 ， 这 意味 站 测试 人 员 在 使 用 HClbench 进 行 测试 时 ， 只 需 在 测试 前 期 配置 好 测试 参数 与 需要 执行 的 测试 用 例 ， 
在 测试 过 程 中 不 需要 任何 手动 干预 即 可 获得 最 终 测 试 结果 。 


HClbench 可 以 在 VMware Virtual SAN 社 区 免费 获得 并 得 到 技术 支持 。 


第 9 草 HClbench— —áÓEiRgEeTARTAE3SHGCE AS ERO TA LA 





9.1 HClbench 介 绍 


性 能 评估 是 任何 存储 解决 万 案 的 重要 组 成 部 分 。 在 既定 配置 下 ， 更 高 性 能 的 解决 万 案 可 以 支持 更 多 的 工作 负载 ， 从 而 更 好 地 
满足 应 用 需求 ， 并 且 最 大 限度 地 减少 潜在 的 性 能 问题 ， 使 其 更 具 成 本 效益 。 因 此 ， 用 尸 倾向 于 选择 更 高 性 能 的 解决 万 案 。 

由 于 性 能 评估 有 无 限 种 可 能 的 测试 场景 ， 并 且 许 多 厂商 出 于 市 场 营 销 和 竞争 的 考虑 ， 不 鼓励 公开 性 能 测试 的 结果 。 因 此 ， 用 
尸 很 难 直接 从 公开 信息 中 获取 可 对 比 的 性 能 测试 结果 。 这 使 T 专 业 人 员 不 得 不 目 己 运行 测试 ， 并 分 析 其 测试 结果 。 这 一 方法 已 成 
为 评估 外 部 仓储 阵列 方面 的 标准 做 法 。 这 也 为 新 一 代 超 融 合 解决 万 案 如 VMware Virtual SAN 的 用 尸 市 来 了 新 的 测试 挑战 。 

在 超 融 合 染 构 中 ， 每 从 服务 器 在 设计 之 初 束 锐 定 义 为 用 来 运行 多 种 应 用 的 虚拟 机 ， 并 向 应 用 程序 提供 可 靠 的 存储 闻 。 因 此 ， 
测试 超 融 合 染 构 的 最 好 模式 应 该 是 调用 多 台 测 试 虚拟 机 ， 同 时 访问 多 个 VMDK， 以 此 模拟 群集 的 繁忙 工作 。 然 而 ， 主 流 的 存储 
性 能 测试 工具 不 直接 支持 这 种 测试 模式 。 为 测试 超 融 合 架构 的 性 能 ，|T 专 业 人 员 不 得 不 手动 创建 多 个 测试 虚拟 机 ， 并 在 虚拟 机 上 
配置 VMDK、 安 委 配 置 传统 测试 工具 以 生成 工作 负载 、 监 控 采 集 相 天 数据 ， 以 完成 性 能 测试 。 这 需要 化 费 很 多 时 间 ， 并 且 可 能 
引入 测试 误 医 。 

为 了 解决 这 一 问题 ，VMware 推 出 了 存储 性 能 自动 化 测试 工具 HClbench。 该 测试 工具 并 非 VMware 为 测试 自身 超 融 合 架构 
性 能 而 独立 开发 ， 其 通过 调用 在 大 型 集群 中 普遍 使 用 的 Vdbench 测 试 工具 实现 了 性 能 测试 的 自动 化 ， 使 用 户 可 以 方便 快捷 地 对 
各 类 外 部 仓储 阵列 进行 标准 性 能 测试 。 用 户 只 需要 在 测 试 前 指定 需要 运行 测试 的 参数 ，HCIbench 融 会 在 测试 时 目 动 创建 虚拟 
机 ， 调 用 Vdbench 对 集群 完成 相应 的 测试 过 程 。 

HClIbench 虽 在 通过 一 致 和 可 控 的 万 式 ， 简 化 和 加 速 性 能 测试 的 概念 验证 (POC) 。 该 工具 可 以 实现 全 目 动 化 的 端 到 喘 虚 拟 
机 部 署 、 测 试 、 协 调 负 载运 行 、 汇 忌 测试 结果 ， 以 及 排除 故障 收集 必要 数据 的 全 过 程 。 特 别 需 要 说 明 的 是 ，HClbench 支 持 一 键 
执行 多 个 测试 用 例 ， 这 意味 着 测试 人 员 在 使 用 HClbench 进 行 测试 时 ， 只 需 在 测试 前 期 配置 好 测试 参数 与 斋 要 执行 的 测试 用 例 |， 
在 测试 过 程 中 不 需要 任何 手动 干预 即 可 获得 最 终 测试 结果 。 


HClbench 可 以 在 VMware Virtual SAN 社 区 免费 获得 并 得 到 技术 支持 。 


9.2 ”HClbench 架 构 及 虚拟 机 配置 


9.2.1 HClbench 工 具 架 构 

HClbench 是 专 为 使 用 Vdbench 针 对 超 融 合 数据 存储 进行 性 能 测试 而 设计 的 。 访 测试 工具 可 以 通过 OVA 的 方式 快速 部 署 ， 
主要 包含 两 个 部 分 : 

1. 控 制 器 虚拟 机 ， 包 含 以 下 组 件 

- Ruby vSphere Console (RVC) 


: Virtual SAN Observer 


自动 化 捆绑 组 件 


- 配置 文件 
2.Linux 测 试 虚 拟 机 模板 


控制 器 虚拟 机 安装 了 所 有 需要 的 组 件 ， 其 核心 组 件 是 可 扩展 的 RVC。RVC 是 该 性 能 测试 工具 的 引擎， 负责 部 署 VYdbench 客 
户 虚拟 机 ， 运 行 Vdbench 测 试 ， 收 集 测 斌 结果， 并 通过 Virtual SAN Observer 来 监控 Virtual SAN 的 运行 。 


虽然 使 用 Vdbench 是 不 受 限 制 的 ， 但 是 Oracle 不 提供 重新 分 友 许 可 。 因 此 ， 用 户 在 初次 安装 过 程 中 需要 在 Oracle 网 站 上 下 
载 一 次 Vdbench 安 装 文 件 。 


目 动 化 捆绑 组 件 ， 包 括 Ruby 脚 本 和 Bash 脚 本 。 其 功能 模块 化 用 于 测试 虚拟 机 的 部 署 ，VM DK 初始 化 和 Vdbench 测 试 运行 ， 
以 及 目 动 化 和 简化 整个 测试 过 程 。 目 动 化 捆绑 组 件 读 取 有 关 测 试 环境 和 目标 工作 负载 配置 的 用 户 定 义 配置 信息 ， 然 后 与 RVC 做 必 
要 的 交互 ， 执 行 以 下 任务 : 


. 连接 到 进行 测试 的 Virtual SAN 环 境 。HCIbench 部 署 在 单独 的 vSphere 环 境 中 ， 但 必须 能 够 访问 需要 测试 的 Virtual SAN 集 


+ 在 进行 测试 的 Virtual SAN 上 部 团 Linux 测 试 庶 拟 机 ， 用 户 指 定 并 输入 虚拟 机 数量 以 及 每 个 虚拟 机 磁盘 的 数量 。 
- 用 户 在 性 能 测试 前 ， 可 选择 对 存储 进行 初始 化 ， 该 选项 在 后 人 台 调 用 dd 命令 初始 化 每 个 虚拟 磁盘 。 

: 传输 Vdbench 参 数 文件 到 每 个 测试 虚拟 机 。 参 数 文件 中 定义 了 目标 工作 负载 和 运行 时 间 的 参数 。 

- 测试 之 前 启动 Virtual SAN Observer 并 在 测试 完成 后 生成 测试 Virtual SAN 的 统计 数据 。 

. 每 个 受 测 试 虚拟 机 的 VMDK 启 动 Vdbench 测 试 实例 ， 并 按照 用 户 定义 的 时 间 运 行 。 

收集 和 汇总 Vdbench 性 能 数据 。 


HClbench 性 能 测试 工具 架构 如 图 9-1 所 示 。 
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图 9-1 HCIbench 性 能 测试 工具 架构 


92.2 HClbench 中 的 虚拟 机 配置 


控制 器 虚拟 机 的 配置 如 表 9-1 所 示 。 


表 9-1 控制 器 虚拟 机 的 配置 


i 性 具体 配置 


CPU 8 vCPU 
RAM 8 GB 
OS VMDK 20 GB 
Log VMDK 200 GB 
操作 系统 CentOS 6.4 64 位 
OS 鉴 权 虚拟 机 初次 启动 时 ， 用 户 需要 创建 root 密码 
( ££ ) 
B 性 具体 配置 
Ruby 1.9.3 


Rubygem 2.4.5 
Rbvmomi 1.8.2 
安装 的 相关 软件 RVC 1.8.0 
sshpass 1.05 
Apache 2.2 


Tomcat 7.0 


vdbench 客 户 机 虚拟 机 的 配置 如 表 9-2 所 示 。 


9-2 Vdbench 客 户 机 虚拟 机 的 配置 


属 性 具体 配置 
CPU 4 vCPU 
RAM 4 GB 
OS VMDK 2 GB 
操作 系统 Ubuntu 12.04.3 LTS 32 位 
OS "ER 用 户 名 /密码 : root/vdbench 
安 骤 的 相关 软件 OpenJDK 1.7.0 
SCSI 控制 希 类 型 VMware Paravirtual 
数据 VMDK 由 用 户 定 义 数量 和 磁盘 大 小 


9.3 ”安装 和 配置 HClbench 


1. 预 先 要 求 
在 部 署 HClbench 的 OVA 之 前 ， 请 确保 运行 环境 满足 以 下 要 求 : 
- 已 创建 并 正确 配置 超 融合 架构 ， 如 Vittual SAN 集群 。 


: 用 于 Vdbench 客 户 机 虚拟 机 的 网 络 可 用 ， 需 要 启用 DHCP。 如 果 网 络 不 具有 DHCP 服 务 ，HCIbench 可 以 在 部 团 时 选择 映射 


到 HCIbench 内 部 网 络 。 
- 部 署 在 vSphere 环 境 中 的 测试 工具 可 以 访问 需要 测试 的 Virtual SAN 集 群 环境 。 


虽然 测试 工具 可 以 访问 任何 vSphere 环 境 ， 但 是 我 们 不 推荐 将 测试 工具 部 署 到 Virtual SAN 群 集 环 境 中 ， 从 而 避免 测试 工具 
XU TENES PRA OBE. 


2. 安 装 HClbench 


下 载 HClbench 后 ， 将 HClbench.ova 以 标准 虚拟 机 形式 部 署 到 vSphere 环 境 中 。 选 择 映射 “HClbench 处 部 网 络 ” 到 该 
HClbench 访 问 的 网 络 。 如 果 需 要 部 署 Vdbench 客 户 虚 拟 机 的 网 络 不 具有 DHCP 服 务 ， 则 选择 映射 “HClbench 内 部 网 络 ” 到 相 
同 的 网 络 。 


: HCIbench 外 部 网 络 : 用 于 用 户 接 入 和 连接 的 vSphere 测 会 平台 。 


- HCIbench 内 部 网 络 : 仅 用 于 提供 DHCP 服 务 ， 没 有 任何 其 他 的 连接 目的 。 


部 署 HClbench 进 行 网 络 映射 选择 如 图 9-2 所 示 。 





| What networks should the deployed template use? 






AICS 
OVF Template Details Map the networks used in this OVF template to networks in your inventory 


Name and Location 
Resource Pool 











Ready to Complete 









If there's no DHCP Server on the VLAN which VDBench client VMs will be deployed on, map this 
Network to the VLAN and Enable DHCP Service in the Web UI 





图 9-2 ”部 署 HCIbench 进 络 映射 选择 


如 图 9-3 所 示 ， 在 部 署 控制 器 虚拟 机 (HClbench.ova) 后 ， 局 动 虚拟 机 并 设置 root 密 码 。 


Setting hostname rvc-perf -om: [ OK ] 

setting up Logical Uolume Management : 2 logical volume(s) in volume group "vy_centosb now active 
[ OK ] 

Checking filesystems 

/dcv^mappcer^/vg centos6-1v root: clean, 62541711585608 files, 68848174597768 blocks 

-dev/sdal: Superblock last write time is in the future. 


incorrectly set). 


dev/sdal: clean, 3671268816 files, 574637512880 blocks 
[ OK ] 

Remounting root filesystem in read-write mode: [ UK ] 

Mounting local filesystems: EXT4-fs (sda1): mounted filesystem with ordered data mode. Opts: 
[ OK ] 

Changing password for user root. 

New password: _ 





图 9-3 ”设置 root 密码 


在 设置 好 root 密 码 后 ， 为 控制 器 虚拟 机 配置 eth0 网 络 。 根 据 所 配置 的 vSphere 环 境 ， 局 用 DHCP 或 者 设置 静态 IP 地 址 。 请 不 
要 修改 预先 设 定好 的 eth1 的 网 络 设置 。 其 他 设置 保留 默认 值 ， 当 页 面 询问 需要 自动 启动 哪些 服务 时 ， 单 击 OK 跳 过 


控制 器 虚拟 机 网 络 配置 如 图 9-4 所 示 。 


Static IP 
Netmask 


Default gateway IP 





图 9-4 控制 器 虚拟 机 网 络 配置 


在 HClbench 部 署 完成 后 ， 可 以 通过 浏览 器 打开 http:// 控 制 器 虚拟 机 IP 地 址 : 8080/ 进 行 测试 配置 ， 并 开始 进行 测试 。 在 配 
置 文件 中 主要 有 3 个 需要 配置 的 部 分 


(1) vSphere 环 境 信息 


在 这 部 分 中 ， 除 Network Name 外 的 所 有 参数 都 必须 配置 。 测 试 评 估 人 员 必 须 提供 该 Virtual SAN 和 群集 配置 的 信息 ， 包 括 
vCenter 1P 地 址 、vCenter 用 户 名 和 密码 、 数 据 中 心 名 称 、Virtual SAN 和 群集 名 称 和 需要 测试 的 数据 存储 名 称 。 


: Network Name: 定义 Vdbench 客 户 虚 拟 机 应 该 使 用 的 网 络 ， 其 默认 值 是 VM Network. 


- Enable DHCP Service on the Network: 允许 用 户 在 所 映射 的 “HCIbench 内 部 网 络 上 启用 DHCP 服 务 。 满 足以 下 条 件 时 义 


选 该 参数 : 
- Vdbench 客 户 虚 拟 机 所 处 的 网 络 没 有 DHCP 服 务 。 
“HCIbench 内 部 网 络 ” 映 射 到 Vdbench 客 户 虚 拟 机 网 络 上 。 
- HCIbench 的 eth1 设 置 没有 被 修改 。 


- Datastore Name: 指定 在 对 Vdbench 客 户 庶 拟 机 进行 测试 时 所 使 用 的 数据 存储 。 评 估 人 员 需 要 输入 数据 存储 的 名 称 。 
HCIbench 支 持 并 行 测 试 多 个 数据 存储 ， 只 需要 在 每 行 输 数据 存储 的 名 称 。 在 这 种 情况 下 ， 虚 拟 机 在 多 个 数据 存储 上 均匀 
分 布 。 例 如 ， 如 果 您 输入 了 两 个 数据 存储 和 100 台 虚拟 机 ， 那 么 每 个 数据 存储 上 将 会 部 署 50 台 虚拟 机 。 


输入 vSphere 环 境 信息 如 图 9-5 所 示 。 


Performance Automation Tool Configuration Page 


vSphere Environment Information 
vCenter Hostname/ IP 





| 10.156.169.96 




















vCenter Username 
| administratorgyvsphere local | « 
vCenter Password 
LETTET] 和 
e 
* 
Network Name 
| VM Network-1284 | 
DHCP Service could be 
Ø Enable DHCP Service on the Network enabled If the specified 
| Network doesn't have DHCP 
Datastore Name Server (OPTIONAL), f 
vsanDatastore Network needs to be 
nfsDatasto mapped on the same 
nfsDatastore "or 


图 9-5 ”输入 vSphere 环 境 信 息 
(2) Virtual SAN 集 群 主机 信息 


如 果 该 参数 未 被 选中 ， 则 忽略 本 节 中 的 其 他 参数 。 在 该 模式 下 ，Vdbench 客 户 虚 拟 机 通过 vCenter 部 署 ， 然 后 采用 轮 询 方式 
克隆 到 Virtual SAN 和 群集 的 所 有 主机 上 。 部 署 在 该 模式 下 的 Vdbench 客 户 虚 拟 机 命名 规则 是 vdbench-VC--< 共 >。 


如 果 选 中 该 参数 ， 则 必须 正确 指定 所 有 其 他 参数 。 


Hosts: 指定 部 署 在 Virtual SAN 集 群 中 运行 Vdbench 客 户 虚 拟 机 的 主机 IP 地 址 。 所 有 这 些 主机 应 该 拥有 相同 的 用 户 名 和 密 
码 ， 这 两 个 参数 可 以 通过 Host Username 和 Host Password 进 行 设置 。 在 该 模式 下 ，Vdbench 客 户 虚 拟 机 直接 在 指定 的 主机 上 
并 行 部 署 。 为 了 减少 网 络 流量 占用 ， 一 个 批 次 只 部 署 5 台 主机 ， 每 台 主 机 也 是 一 次 增 量 部 署 5 台 虚拟 机 。 部 署 在 该 模式 下 的 测试 


虚拟 机 的 命名 约定 为 vdbench-< 主 机 名 /IP>-<DATASTORE NAME» -batch «VM» -, 
一 般 情况 下 ， 如 果 要 部 署 大 量 的 测试 虚拟 机 ， 建 议 选择 Deploy on Hosts, 
指定 需要 部 署 的 Virtual SAN 节 点 如 图 9-6 所 示 。 
(3) Vdbench 客 户 虚 拟 机 设置 


在 本 小 节 ， 唯 一 需要 指定 的 参数 是 需要 部 署 测试 的 Vdbench 的 客户 虚拟 机 总 数 (Number of VMs) 。 如 果 输 入 多 个 数据 存 
储 ， 那 么 部 署 的 虚拟 机 将 会 被 均 久 部署 到 这 些 数据 存储 上 。 以 下 两 个 参数 是 可 选 参 数 : 


Virtual SAN Cluster Hosts Information 
Directly Deploy on Hosts 
Deploy on Hosts 


Hosts 





10.156.28.21 
10.156.28.22 
10.156.28.23 
10.156.28.24 


、 


Host Username 






















































































root 
Host Password 
| 

| "EMEEEEEU 


图 9-6 ”指定 需要 部 署 的 Virtual SAN 节 点 


: Number of Data Disk: 指定 每 个 Vdbench 客 户 虚 拟 机 需要 添加 多 少 块 YMDK 进 行 测试 。 


- Size of Data Disk: 指定 每 个 需要 测试 的 VMDK 磁 盘 大 小 (GB) o 
用 于 测试 的 总 实例 数 为 : 客户 虚拟 机 总 数 (Number of VM) x 磁盘 数量 (Number of Data Disk) , 
这 两 个 参数 的 默认 值 均 为 10。 评 估 人 员 需 要 充分 考虑 并 规划 集群 系统 有 足够 的 计算 和 存储 人 资源 来 支持 目标 测试 实例 。 


具体 的 测试 虚拟 机 信息 如 图 9-7 所 示 。 


Vdbench Guest VM Specification 
Number of VMs 
10 


Number of Data Disk 
2 


Size of Data Disk 


9 





图 9-7 具体 的 测试 虚拟 机 信息 
4.Vdbench 测 试 配置 


Test Name: 指定 测试 名 称 。 通 过 指定 名 称 ,例如 “DemoTest”，HClbench 会 在 控制 虚拟 机 的 本 地 磁盘 路 
径 /opt/output/results/ 创 建 同 名 目录 ， 用 于 存储 所 收集 的 所 有 Vdbench 测 试 虚拟 机 的 测试 结果 和 由 Virtual SAN Observer 产生 
的 统计 信息 。 如 果 没 有 指定 测试 名 称 ， 系 统 将 会 在 控制 虚拟 机 的 本 地 磁盘 路 径 /opt/output/results/ 自 动产 生 一 个 名 
为 “results+ 时 间 戳 ”的 同名 目录 。 所 有 的 测试 结果 也 可 以 通过 http:// 控 制 器 虚拟 机 IP 地 址 /results 进 行 浏览 。 测 试 评估 人 员 可 
以 通过 如 下 方式 指定 Vdbench 参 数 文件 : 


由 用 户 指 定 的 Vdbeneh 参 数 文件 如 图 9-8 所 示 。 


| Vdbench Testing Configuration 
Test Name 


Demolest 


Select a Vdbench parameter file 


vdb-20vmdk-100ws-4k-70rdpc 4 





Upload and use a Vdbench parameter file for testing. 
(THIS OPERATION WILL OVERWRITE YOUR SELECTION 
ABOVE) 


选择 文件 | 未 选择 任何 文件 


Generate Vdbench Parameter File by Yourself 


Generate 





图 9-8 ”由 用 户 指定 的 Vdbench 参 数 文件 


- 在 下 拉 框 中 选择 Vdbench 文 件 : 如 果 之 前 上 传 或 生成 过 参数 文件 到 控制 器 虚拟 机 ， 那 么 它 会 保存 在 控制 器 虚拟 机 中 。 在 这 
种 情况 下 ， 评 估 人 员 可 以 选择 已 经 存在 的 Vdbench 参 数 文件 并 重复 使 用 。 可 以 通过 单 击 Refrtesh 刷 新 下 拉 列 表 ， 也 可 以 单 击 Delete 
来 删除 参数 文件 。 


- 上 传 Vdbench 参 数 文 件 : 如 果 期 望 的 参数 文件 不 存在 ， 评 估 人 员 可 以 创建 用 户 自 定义 参数 文件 ， 并 通过 单 击 Upload and use 
a Vdbench Parameter file for testing 的 选择 文件 按钮 上 传 到 控制 器 。 


关于 Vdbench 参 数 文 件 格 式 ， 请 参见 《Vdbench Users Guide》。 


: 生成 Vdbench 参 数 文件 : 如 果 不 布 望 手动 编辑 容易 出 错 的 Vdbench 参 数 文件 ， 可 以 单 击 Vdbench Parameter File Generate Page 
来 通过 GUI 产 生 自 定义 的 参数 文件 。 通 过 单 击 Generate 可 以 重 定向 到 如 图 9-9 所 示 的 页 面 : 


Vdbench Parameter File Generate P 


Number of Disks to Test 
2 . 


Working-Set Percentage 











































































































Number of Threads Per Disk 
Block Size 

| 4K lel. 
Read Percentage 

Random Percentage 

Test Time 


Reporting interval 











图 9-9 ”生成 Vdbench 参 数 文件 页 面 


Qum 定义 在 Vdbench 参 数 文件 中 的 Numbet of Disks to Test 值 必须 和 Vdbenhch 参 数 客户 虚拟 机 设 定 中 的 Numbet of Data Disk 
数值 一 致 。 例 如 ， 如 果 为 每 个 客户 虚拟 机 创建 10 个 数据 磁盘 ， 那 么 会 创建 出 10 个 /dev/sdb~/dev/sdK 的 裸 盘 。 因 此 ， 在 Vdbench 参 
数 文件 里 ， 需 要 设 定 同 样 数量 的 /dev/sdb~/dev/sdk 磁 盘 。 


更 多 关于 工作 负载 参数 文件 的 配置 信息 ， 请 参见 《Vdbench Users Guide》。 


其 他 参数 设 定 如 图 9-10 所 示 。 


Initialize Storage Before Testing 


Initialize Storage 


Testing Duration (seconds) 


6UU 


Clean up VMs 





9 Clean up VMs after testing 


A910 ”其 他 参数 设 定 
如 果 用 户 和 希望 在 测试 前 初始 化 用 于 测试 的 数据 磁盘 ， 可 以 单 击 勾 选 Initialize Storage. 


Testing Duration 是 履 关 定义 在 Vdbench 参 数 文件 中 的 持续 时 间 参 数 。 该 参数 用 于 定义 每 次 测试 的 时 间 长 度 。 如 果 不 指 
定 ，Vdbench 测 试 会 使 用 默认 的 测试 持续 时 间 。 


当 Clean up VMs 被 选 定 时 ， 所 有 的 测试 客 尸 虚拟 机 会 在 测试 完成 后 被 删除 。 否 则 ， 测 试 虚拟 机 会 保留 下 来 。 


5. 下 载 Vdbench 


在 开始 测试 前 ， 用 户 必 须 在 Oracle 网 站 上 下 载 Vdbench tool。 如 图 9-11 所 示 ， 单 击 Download， 浏 览 器 会 自动 导航 到 
Oracle Vdbench 下 载 页 面 。 用 户 可 以 根据 实际 需要 ， 下 载 相应 版 本 的 Vdbench。 下载 完 成 后 ， 只 需要 上 传 压 缩 后 的 文件 ， 服 务 
器 会 将 Vdbench 文 件 存放 在 /opt/vm-template 目 录 下 。 这 项 工作 仪 需 进行 一 次 。 


Download the Vdbench Download the Vdbench from 


the Oracle website. And put 
the file into the directory 


Upload the Vdbench File 
Choose File no file selected 








Vdbench Downloads 


Vdbench is a command line utility specifically created to help engineers and customers generate 
disk I/O workloads to be used for validating storage performance and storage data integrity. 
Vdbench execution parameters may also specified via an input text file. 


You must accept the OTN License Agreement to download this software. 
_) Accept License Agreement |‘ ^ Decline License Agreement 


Vdbench (5.04.05) 
* vdbench50405.zip 

- User Guide 

- Vdbench Discussion Forum 


Vdbench (5.04.03) 
*- vdbench50403.zip 
- User Guide 
- Vdbench Discussion Forum 


Vdbench (5.04.01 obsolete and unsupported, for reference only) 
** vdbench50401.zip 
- Vdbench Discussion Forum 


Related Downloads 
- Vdbench source code 


图 9-11 T ZX&Vdbench 
6. 保 存 配 置信 息 


单 击 Save Configuration 以 保存 参数 配置 设 定 。 如 果 设 定 配 置 没有 保存 ， 系 统 上 默认 会 使 用 前 一 次 保存 的 参数 配置 。 


7. 配 置 验 证 


在 完成 所 有 配置 后 ， 可 以 通过 单 击 Validate 来 验证 所 有 的 设置 是 否 正 确 ， 如 图 9-12 所 示 。 该 步骤 检查 是 否 所 有 需要 的 信息 都 
馈 正 确 提供 ， 并 验证 环境 是 否 被 正确 配置 ， 包 括 受 测试 的 集群 中 是 人 否 局 用 了 起 融 合 存储 功能 ， 主 机 是 否 是 集群 的 组 成 部 分 ， 以 及 
能 否 访 问 起 融合 数据 存储 等 。 此 外 ， 该 功能 还 会 评估 客 尸 虚拟 机 在 部 署 后 的 存储 使 用 率 是 否 已 经 超过 了 80%。 一 旦 超出 ， 系 统 会 
及 出 报警 。 


在 验证 成 功 后 ， 会 提示 通知 信息 以 继续 进行 测试 。 


Information 


2015-12-15 14:42:47 -0800: Yalidating VC IP and Crendetial... 

2015-12-15 14:42:51 -0800: VC IP and Credential Validated 

2015-12-15 14:42:51 -0800: Validating Datacenter Lab... 

2015-12-15 14:42:54 -0800: Datacenter Lab Validated 

2015-12-15 14:42:54 -0800: Validating Cluster VSAN... 

2015-12-15 14:42:55 -0800: Cluster VSAN Validated 

2015-12-15 14:42:55 -0800: Validating Network VM Network- 1284... 

2015-12-15 14:42:58 -0800: Network VM Network- 1284 Validated 

2015-12-15 14:42:58 -0800: Checking If Network VM Network- 1284 is accessible from all the hosts of VSAN... 
2015-12-15 14:43:05 -0800: Network VM Network- 1284 is accessible from host 10.156.28.21 

2015-12-15 14:43:07 -0800: Network VM Network- 1284 is accessible from host 10.156.28.22 

2015-12-15 14:43:10 -0800: Network VM Network- 1284 is accessible from host 10.156.28.23 

2015-12-15 14:43:12 -0800: Network VM Network- 1284 is accessible from host 10.156.28.24 

2015-12-15 14:43:12 -0800: Network VM Network- 1284 is accessible from all the hosts of VSAN 

2015-12-15 14:43:12 -0800: Validating Type of Network VM Network- 1284 ... 

2015-12-15 14:43:13 -0800: Network VM Network- 1284 Type is Network 

2015-12-15 14:43:13 -0800: Validating Datastore vsanDatastore ... 

2015-12-15 14:43:17 -0800: Datastore vsanDatastore Validated 

2015-12-15 14:43:19 -0800: Checking Datastore vsanDatastore type... 

2015-12-15 14:43:22 -0800: Datastore vsanDatastore type is vsan 

2015-12-15 14:43:22 -0800: Checking If Datastore vsanDatastore is accessible from all the hosts of VSAN... 
2015-12-15 14:43:27 -0800: Datastore vsanDatastore is accessible from host 10.156.28.21 

2015-12-15 14:43:27 -0800: Datastore vsanDatastore is accessible from host 10.156.28.22 

2015-12-15 14:43:27 -0800: Datastore vsanDatastore is accessible from host 10.156.28.23 

2015-12-15 14:43:27 -0800: Datastore vsanDatastore is accessible from host 10.156.28.24 

2015-12-15 14:43:27 -0800: Datastore vsanDatastore is accessible from all the hosts of VSAN 

2015-12-15 14:43:27 -0800: Validating If VSAN Enabled in Cluster VSAN... 

2015-12-15 14:43:35 -0800: VSAN is Enabled in Cluster VSAN, the VSAN Datastore name is vsanDatastore, capacity is 22132 GB and freespace is 
13434 GB 

2015-12-15 14:43:45 -0800: Deploy on hosts: False. Skip validating hosts... 


2015-12-15 14:43:45 -0800: All the config has been validated, please go ahead to kick off testing 





图 9-12 ”配置 验证 


94 使 用 HClbench 


运行 测试 
单 击 Test 局 动 测试 ， 测 试 会 持续 较 长 时 间 ， 碍 看 测试 页 面 获 取 进 度 信 息 ， 如 图 9-13 所 示 。 
在 测试 过 程 中 ， 可 以 单 击 Cancel Test 来 终止 测试 进程 。 


2. 获 取 测 试 结果 


在 Vdbench 测 试 完成 后 ， 所 有 的 测试 结果 会 从 所 有 的 测试 虚拟 机 的 Vdbench 实 例 中 进行 收集 ， 如 图 9-14 所 示 。 评 估 人 员 可 
以 在 浏览 器 中 访问 http:// 控 制 器 虚拟 机 IP 地 址 /results 进 行 浏览 。 


在 目录 /opt/output/results/TestName 下 会 产生 用 户 在 Vdbench 参 数 文件 中 定义 的 同样 名 称 的 子 目 录 ， 并 包含 每 个 
Vdbench 实 例 的 所 有 原始 测试 结果 和 Virtual SAN Observer 统 计 信 息 数据 。 每 个 测试 运行 的 汇总 结果 会 存放 在 一 个 名 为 -res.txt 
的 文本 文件 中 。 其 中 含有 数据 存储 名 称 和 以 下 统计 信息 : 测试 使 用 的 虚拟 机 数量 、IOPS、 和 吞吐 量 、 磁 盘 延 迟 信息 以 及 主机 资源 
消耗 信息 ， 如 图 9-15 所 示 。 


Progress 


stopping DHCP Service on VM Network-1284... 
DHCP Service stopped. 
Deployment Started. 
Verifying If Deployment is Successful 
Deployment Successfully Finished. 
O Test Started. 


Cancel Test 





图 9-13 ”测试 进度 


Index of /results 


Name Last modified Size Description 


«9 Parent Directo 
14-Dec-2015 23:08 
15-Dec-2015 16:38 





Apache/2. 2.15 (CentOS) Server at 10.143. 7. 96 Port 80 


图 9-14 测试 结果 


Datastore: vsanDatastore 
5 
2114. 84 IO/s 





CPU USAGE 
RAN USAGE 


H H HH id 





CPU USAGE 
NAR USAGE 








图 9-15 性 能 数据 汇总 


可 以 在 每 一 个 测试 运行 的 子 目 录 下 查看 Vdbench 实 例 的 原始 测试 结果 。 除 了 上 述 文本 文件 外 ， 另 一 名 为 iotest-vdbench- 


vm 的 子 目录 下 存放 了 Virtual SAN Observer 产生 的 统计 信息 ， 如 图 9-16 所 示 。 


[3 Index of /results/DemoTes; x 
© > Q |D 10.143.7.96/results/DemoTest/vdb-2vmdk-100ws-16k-60rdpct-60randompct-1450164335/ 


Index of /results/DemoTest/vdb-2vmdk-100ws-16k-60rdpct-60randompct-1450164335 


I li&ed Size Descripti 


14-Dec-2015 23:26 - 
15-Dec-2015 17:00 8.6K 
15-Dec-2015 17:00 8.6K 
15-Dec-2015 17:00 8.6K 
15-Dec-2015 17:00 8.6K 
15-Dec-2015 17:00 8.6K 
xdbench-ve-vsanDatastore-Ltxt 15-Dec-2015 17:00 8.6K 
ydbench-ve-vsanDatastore-2 txt 15-Dec-2015 17:00 8.6K 
ydbench-ve-vsanDatastore-3 txt 15-Dec-2015 17:00 8.6K 
xdbench-ve-vsanDatastore-4 txt 15-Dec-2015 17:00 8.6K 
xdbench-ve-vsauDatastore-5 txt 15-Dec-2015 17:00 8.6K 





.2.15 (CentOS) Server at 10.143.7.96 Port 80 
图 9-16 ”详细 的 性 能 数据 


双击 打开 统计 信息 目录 下 的 stats.html 文 件 ， 可 以 查看 Virtual SAN 性 能 统计 信息 ， 如 图 9-17 所 示 ， 用 于 性 能 问题 排查 和 评 
(fi. 


[ VC 10.156.169.96 (VMware x 全 汪汪 


€ > C [0 10.143.7.96/results/DemoTest/vdb-2vmdk-100ws-16k-60rdpct-60randompct-1450164335/iotest-vdbench-10vm/stats. html 


VSAN Client 


© What am | looking at 


10.156.28.21 
Full size graphs 


10.156.28 22 


Full size graphs 


10.156.28 23 
Full size graphs 


10.156.28 24 
Full size graphs 





图 9-17 Virtual SAN 性 能 统计 信息 














3. 下 载 测试 结果 到 本 地 


单 击 Save Result 下 载 测 试 结果 到 本 地 磁盘 。 最 新 的 测试 结果 会 打包 成 zip 文 件 并 且 可 以 下 载 到 本 地 客户 病 。 


9.5 Virtual SANTEBSI ER (ESC. 


1. 性 能 测试 指导 原则 


为 了 确保 在 针对 Virtual SAN 进 行 性 能 测试 时 ， 可 以 获得 最 佳 的 性 能 测试 数据 。 我 们 建议 测试 人 员 在 对 Virtual SAN 进 行 性 能 
测试 时 满足 以 下 几 扣 要 求 : 


(1) 工作 负载 足够 大 


如 果 测 试 人 员 在 针对 Virtual SAN 进 行 性 能 测试 时 ， 使 用 IOmeter 等 常规 存储 测试 工具 。 由 于 IOmeter 烦 琐 的 手动 配置 问 
题 ， 测 试 人 员 配 置 的 工作 负载 可 能 较 小 ， 无 法 确保 Virtual SAN 的 资源 被 完全 利用 。 这 样 的 工作 负载 也 无 法 反映 真实 生产 情况 下 
的 工作 负载 。 因 此 ， 我 们 强烈 建议 测试 人 员 使 用 HClbench 对 超 融 合 设 备 进行 性 能 测试 ， 并 通过 HClbench 便 捷 的 配置 产生 足够 
大 的 工作 负载 ， 以 确保 可 以 发挥 Virtual SAN 的 最 佳 性 能 。 


(2) 元 分 使 用 缓行 
缓 仔 层 在 很 多 方面 会 改善 Virtual SAN 的 性 能 ， 因 此 在 测试 前 请 确保 使 用 以 下 最 佳 实践 以 充分 使 用 缓存 : 
: 确保 缓存 大 小 可 以 完全 履 盖 测试 数据 。 
在 测试 前 ， 预 热 缓存 至 少 30 分 钟 。 
(3) RRY 


对 于 相同 等 级 的 待 处理 IO (Outstanding IO) ， 不同 块 尺寸 要 求 的 线程 数 不 同 。 请 确保 在 测试 时 选择 合适 的 线程 数 以 达到 


最 佳 性 能 。 
2. 测 试 分 析 
在 测试 完成 后 ， 通 过 HClbench 内 藤 的 Virtual SAN Observer， 测 试 人 员 可 以 对 测试 结果 进行 分 析 : 


“ 如 果 在 测试 结果 中 出 现 不 期 望 的 性 能 问题 (图 标 中 相应 的 下 男 线 下 会 以 红色 标 出 ) ， 请 在 运行 下 一 次 测试 前 找 出 根本 原因 


wa PE 
并 修复 。 


+ 如 果 某 些 性 能 数据 很 低 ， 请 考虑 增加 每 个 VMDK 的 线程 数 以 优化 测试 结果 。 


96 ”本章 小 结 
HClbench 是 用 于 起 融合 系统 的 性 能 测试 工具 ， 它 具有 灵活 配置 、 易 于 使 用 等 特性 。 测 试 人 员 可 以 根据 实际 的 工作 负载 ， 通 
过 参数 调整 来 模拟 实际 环境 中 的 工作 负载 ， 以 真实 地 反映 超 融 合 存储 系统 的 性 能 。 


HClbench 已 经 实现 了 全 目 动 化 的 测试 ， 可 以 最 大 限度 地 减轻 测试 人 员 的 负担 。 同 时 ， 在 HClbench 中 集成 了 Virtual SAN 
Observer 性 能 观察 工具 ， 当 性 能 未 达 预 期 的 情况 出 现时 ， 测 试 人 员 也 能 方便 地 通过 观察 到 的 性 能 数据 进行 错误 排查 和 性 能 调 
优 。 


总 之 ，HClbench 是 进行 超 融 合 系统 存储 性 能 测试 的 推荐 工具 ，Virtual SAN 管 理 员 和 性 能 测试 人 员 都 应 该 熟悉 其 使 用 方 


式 ， 同 时 能 够 进行 结果 分 析 。 


第 10 章 ”基于 VMware 混 合 架 构 Virtual SAN 的 Exchange Server 最 佳 实 践 


自 电 子 邮 件 诞生 以 来 ， 微 软 Exchange 已 经 从 基本 的 电子 邮件 应 用 程序 发 展 成 为 大 多 数 企 业 的 通信 和 标准。 与 此 同时 ,秉承 降 
低 成 本 和 提高 可 用 性 的 宗旨 ，Exchange 从 独立 服务 器 逐渐 演变 成 共享 架构 服务 器 。 


Exchange Server2013 向 用 户 提 供 了 最 新 的 技术 和 功能 。 该 架构 的 改进 和 实施 方案 ,例如 云 的 扩展 ， 将 促使 现 有 的 和 潜在 
的 客户 有 意愿 部 署 Exchange Server2013， 进 一 步 巩 固 了 其 在 数据 中 心 的 主导 地 位 ， 并 处 于 企业 通信 平台 的 领先 地 位 。 


在 Virtual SAN. EB Exchange Server2013， 通 过 使 用 高 性 价 比 的 硬件 产品 (尤其 是 VMware ESXi 主 机 中 的 直 连 磁盘 ) ， 
提供 了 可 扩展 、 可 靠 和 高 性 能 的 存储 ， 旨 在 进一步 推动 产品 优化 。Virtual SAN 旺 现 了 一 种 新 的 存储 管理 模式 ， 它 缩减 了 存在 于 
传统 存储 系统 的 复杂 管理 流程 。Virtual SAN 使 管理 员 能 够 轻松 地 在 VMware vSphere 上 部 署 和 管理 Exchange Server2013, 5 
此 同时 ， 通 过 ESXi 上 的 共享 架构 来 保持 局 可 用 性 和 节约 成 本 。 


10.1 ”业务 案例 


1.73385; 


本 方案 验证 了 在 高 工作 负载 压力 下 ， 使 用 Virtual SAN 高 可 用 性 集群 架构 能 够 支持 混合 邮箱 配置 。 本 方案 帮助 用 户 在 Virtual 
SAN 上 设计 和 部 署 遵 循 Exchange Server2013 的 最 佳 实 践 。 


2. 重 要 结论 
本 方案 重点 验证 了 Virtual SAN 适 用 于 Exchange 的 企业 级 存储 解决 方案 : 


性 能 可 预见 的 基于 Vittual SAN 的 Exchange 应 用 系统 。 
- 设计 简单 ， 降 低 了 在 传统 SAN 中 部 署 Mictosoft Exchange 存 储 及 维护 其 他 Windows 实 用 软件 的 复杂 性 。 
- 灾难 恢复 和 数据 保护 ， 对 Exchange Setrvet 提 供 站 点 弹性 和 邮箱 数据 库 恢 复 。 


` 高 可 用 性 的 Exchange 虚 拟 机 。vSphere HA 在 第 三 方 插件 支持 下 可 以 提供 对 ESXi 主 机 、 客 户 机 操作 系统 和 应 用 程序 故障 的 保 


护 。 


- 降低 实施 和 运营 风险 : 使 用 Exchange Jetsttess 工 具 定 义 的 架构 来 证 明 Vittual SAN 可 以 承载 的 Mictosoft Exchange 负载 。 


10.2 NERA 


本 忆 主 要 介绍 在 本 次 解决 万 案 中 使 用 到 的 技术 ， 除 了 在 最 佳 实践 开头 列 出 的 VMware 技 术 外 ， 还 使 用 到 以 下 第 三 方 拉 术 : 


: Exchange Server2013 

- Exchange Setvet2013 数 据 可 用 性 组 
- 邮箱 数据 库 副 本 

1.Exchange Server2013 


Exchange Server 是 全 球 最 广泛 使 用 的 电子 邮件 系统 。Exchange Server 支 持 多 种 电子 邮件 网 络 协 议 ， 如 SMTP、NNTP、 
POP3, IMAP4, Exchange Server 是 个 消息 与 协作 系统 ，Exchange Server 可 以 被 用 来 构架 应 用 于 企业 、 学 校 的 邮件 系统 甚至 
于 免费 邮件 系统 。 也 可 以 用 于 开发 工作 流 、 知 识 管 理 系 统 、Web 系 统 或 者 是 其 他 消息 系统 。 


2.Exchange Server2013 数 据 可 用 性 组 


数据 库 可 用 性 组 (Database Availability Group, DAG) 是 内 置 于 Exchange Server2013 中 的 邮箱 服务 器 高 可 用 性 和 站 点 
恢复 框架 的 基础 组 件 。DAG 是 一 组 邮箱 服务 器 (最 多 可 包含 16 个 邮箱 服务 器 ) ， 其 中 承载 了 一 组 数据 库 ， 可 提供 从 影响 单个 服 
务 器 或 数据 库 的 故障 中 自动 执行 数据 库 级 恢复 的 功能 。 


DAG 是 邮箱 数据 库 复 制 、 数 据 库 与 服务 器 切换 和 故障 转移 以 及 名 为 “活动 管理 器 ”的 内 部 组 件 的 边界 。 活 动 管理 器 运行 在 
每 个 邮箱 服务 器 上 ， 在 DAG 中 管理 切换 和 故障 转移 。 


DAG 中 的 任何 服务 器 都 可 以 承载 来 目 DAGC 中 任何 其 他 服务 器 的 邮箱 数据 库 副 本 。 将 服务 器 添加 到 DAG 后 ， 此 服务 器 与 DAG 
中 的 其 他 服务 器 协同 工作 ， 提 供 从 影响 邮箱 数据 库 的 故障 (如 磁盘 、 服 务 器 或 网 络 故 障 ) 中 目 动 执行 恢复 的 功能 。 


3. 邮 箱 数 据 库 副 本 

邮箱 数据 库 能 把 数据 库 从 服务 器 上 断 开 ， 从 而 增强 移动 性 。 邮 箱 数据 库 副 本 在 一 个 数据 库 上 支持 最 多 16 个 副本 。 邮 箱 数据 
库 副 本 之 间 实 现 切 换 过 程 如 下 : 弛 载 当前 主 副 本 ,指派 特定 被 动 副 本 使 其 成 为 主 副本 ， 必 须 保证 这 些 被 动 副本 运行 状况 恨 好 且 为 
最 新 。 

如 图 10-1 所 示 ， 一 个 数据 可 用 性 组 包 售 了 4 个 成 员 和 12 个 邮箱 数据 库 ， 主 副本 和 被 动 副本 平均 地 分 布 在 各 个 成 员 组 上 。 如 果 


承载 一 个 主 副 本 数据 库 的 服务 器 磁 到 了 问题 ， 例 如 一 个 硬件 故障 ， 其 余数 据 可 用 性 组 能 马上 局 动 数据 库 副本 来 保证 客 尸 端 依旧 能 
成 功 连 接 到 邮箱 数据 。 
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图 10-1 Exchange Server2013 数 据 可 用 性 组 


10.3 ”万 案 配 置 


本 廿 将 介绍 使 用 到 的 软 硬 件 资 源 及 解决 方案 配置 ， 主 要 包括 : 
架构 图 

` 硬件 资源 

` 软件 资源 

. 网 络 配置 

- ESXi 的 存储 控制 器 模式 

- Virtual SAN 配 置 


Exchange DAG 配 置 


10.3.1 ”架构 图 
本 最 佳 实践 的 主要 架构 设计 如 下 : 
- 适用 于 Exchange 单 站 点 架构 下 的 4 节点 Virtual SANZ. 
- 配备 主 备 数据 库 副 本 及 邮箱 和 客户 端 访 问 服务 器 的 4 节点 Exchange DAG. 


- 中 等 规模 的 Exchange 服 务 器 部 署 : 在 每 个 2GB 空 间 配 置 2500 个 邮箱 ， 每 个 配置 的 邮箱 数 是 通过 Exchange 的 规模 和 环境 估算 


Virtual SAN 集 群 架 构 如 图 10-2 所 示 。 
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Ej10-2 Virtual SAN 集群 架构 


10.3.2 ”硬件 资源 


为 适应 生产 环节 工作 负载 ， 方 案 使 用 四 人 台 标 准 机 架 服 务 器 。 通 过 Virtual SAN 使 用 直 连 在 ESXi 主 机 上 的 SSD 和 HDD 来 提供 可 
扩展 的 企业 级 存储 解决 方案 。 每 台 ESXi 主 机 拥有 两 个 磁盘 组 ， 每 个 磁盘 组 由 一 块 SSD 和 六 块 HDD 组 成 。 这 些 磁盘 组 合并 组 成 
Virtual SANZiizfzfi&£, Virtual SAN 集 群 中 的 每 台 ESXi 主 机 配置 见 表 10-1: 


表 10-1 ESXi 主 机 配置 


设 备 具体 参数 
CPU 双 路 ， 每 路 10 核 
RAM 256 GB 
(ZÈ ) 
i£ 备 具体 参数 
网 卡 2*10Gb SFI/SFP 
存储 适 配 需 2*12Gbps SAS 
磁盘 12*900 GB 10 000 转速 2*400 GB SATA SSD 


Virtual SAN 集 群 点 如 图 10-3 所 示 。 
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图 10-3 Virtual SAN 集 群 点 


10.3.3 ”软件 资源 


表 10-2 中 列 出 了 方案 中 用 到 的 软件 。 


表 10-2 方案 中 用 到 的 软件 


软 件 版 本 f it 


ESXi 集群 用 于 运行 虚拟 机 和 提供 Virtual 
VMware vCenter 以 及 ESXi 6.0 UI SAN 42 iE. VMware vCenter Server 提供 集中 
化 的 平台 用 于 管理 VMware vSphere 环境 


VMware Virtual SAN EET 基于 超 融 合 的 软件 定义 解决 方案 
vSphere Data Protection 6 VMware 应 用 备份 和 恢复 解决 方案 
| 6d | VMware 灾难 和 恢复 解决 方案 


VMware 基于 虚拟 机 监管 程序 的 虚拟 机 备份 


Microsoft Exchange Server 2013 企业 版 数据 库 软 件 


Site Recovery Manager 


vSphere Replication 


10.3.4 网络 配置 


VMware vSphere Distributed Switch 作为 独立 的 虚拟 交换 机 横 跨 集群 中 的 所 有 主机 。 通 过 配置 vSphere Distributed 
Switch， 虚 拟 机 在 多 人 台 主 机 之 间 迁 移 时 网 络 配置 可 以 保持 不 变 。 在 测试 环境 中 ， 每 台 主 机 都 配置 了 两 块 10Gbps 网 卡 用 于 
vSphere 分 布 式 交换 机 。 方 案 中 端口 组 的 安全 、 流 量 整 型 、NI1C 流 量 控制 都 使 用 默认 配置 。 


10.3.5 ”ESXi 和 存储 控制 器 模式 


存储 控制 器 同时 支持 直通 模式 和 和 RAID 模 式 。 在 测试 中 ， 推 荐 首选 直通 模式 作为 存储 控制 器 模式 ， 这 样 Virtual SAN 可 以 完全 
控制 连接 到 存储 控制 器 的 本 地 SSD 和 HDD。 


10.3.6 Virtual SANAE 


iT Exchange Serverfi Virtual SAN 存 储 策略 
Virtual SAN 需 要 针对 每 人 台 虚 拟 机 设置 可 用 性 、 容 量 以 及 性 能 策略 。 我 们 设计 和 部 署 的 存储 策略 见 表 10-3。 


表 10-3 Æ F Exchange Setvet 的 Vittual SAN 存 储 策略 


存储 性 能 设 置 
允许 的 故障 数 (FTT) | 
每 个 对 象 的 磁盘 条 带 数 I 
闪存 读 取 缓存 预 留 0% 

对 象 空 间 预 留 100% 


在 方案 中 ， 建 议 将 每 个 对 象 的 磁盘 条 市 数 设 置 为 1。 默 认 情 况 下 ， 在 Virtual SAN 中 创建 的 虚拟 机 都 及 用 精简 配置 。 在 写 入 
数据 之 前 不 会 消耗 任何 空间 。 为 确保 获得 最 优 性 能 ， 建 议 将 对 象 空间 预 留 设置 为 100%。 


10.3.7 Exchange DAGALA 


(1) Windows Server 故 障 转移 集群 设置 


Exchange DAG 安 和 并 且 配 置 了 Windows 故 障 转 移 集 群 (WSFC) 组 件 。 在 单独 的 Windows 虚 拟 机 上 对 DAG 复 制 和 
Windows share 进 行 网 络 配置 。 


(2) Windows server 故 障 转移 集群 仲裁 模式 和 投票 配置 


Exchange Server2013DAG 充 分 利用 了 Windows Server 的 故障 转移 集群 技术 。Windows Server 故 障 转移 集群 通过 基于 仲 
裁 的 方法 来 监控 整个 集群 的 运行 状况 ， 提 供 节 点 级 别 的 最 大 容错 能 力 。 


10.4 “方案 验证 


本 解决 方案 在 Virtual SAN 集 群 上 设计 并 部 署 了 Exchange Server2013， 侧 重 于 易 用 性 、 高 性 能 以 及 弹性 。 在 本 章 中 ， 我 们 
给 出 了 测试 的 方法 、 过 程 和 结果 。 在 业务 连续 性 和 灾难 恢复 测试 中 ， 我 们 设计 并 展示 了 Virtual SAN 和 Exchange Server2013 结 
Site Recovery Manager 和 v9Sphere Data Protection 使 用 的 方法 。 


10.4.1 Ji ERR 


为 验证 方案 的 可 行 性 ， 我 们 将 进行 以 下 场景 的 测试 : 
通过 使 用 Jetstress tool 对 应 用 程序 进行 负载 测试 ， 并 通过 Virtual SAN Obsetvet 观 察 Vifttual SAN 的 性 能 。 
: 使 用 vSphete Data Ptotection 在 Vittual SAN 上 备份 和 恢 4 Exchange Setvet。 


: 4% Jf] Site Recovery Managet 进 行业 务 连续 性 和 灾难 恢复 测试 。 


通过 弹性 测试 以 验证 vSphere HAAeDRS # Microsoft Exchange Server2013/e Virtual SAN 上 可 以 完好 工作 ， 并 且 验 证 其 对 


Microsoft Exchange Server2013 的 性 能 影响 很 小 。 


10.4.2 ”测试 和 监控 工具 


在 方案 中 ， 我 们 使 用 了 以 下 测试 和 监控 工 


- Virtual SAN Observer: 用 于 抓 取 VIMwate Virtual SAN 集 群 的 性 能 数据 和 带宽 ， 通 过 使 用 Virtual SAN Observer， 能 够 深入 获 
取 Virtual SAN 不 同 层 的 IOPS、 带 宽 和 延迟 数据 ， 包 括 读 缓存 命中 率 、 未 命中 率 、 突 出 IO 和 拥堵 。 这 些 信息 处 于 Vittual SAN 栈 的 
不 同 层 ， 可 以 帮助 分 析 和 解决 存储 性 能 问题 。 


: Jetstress: EExchange 日 志 读 取 和 写 入 平均 延迟 时 间 和 数据 库 读 取 平均 延迟 必须 支持 5000 个 邮箱 以 上 负载 。 


10.4.3 ”Jetstress 工 作 负 载 测试 


我 们 在 Exchange 上 运行 Jetstress， 总 共 2500 个 2GB 邮 箱 ， 每 个 邮箱 0.17IOPS， 相 当 于 每 天 接收 250 封 75KB 的 邮件 。 
1 .测试 场景 和 步骤 
通过 执行 以 下 步骤 ， 进 行 Jetstress 的 工作 负载 测试 。 

(1) 开启 Virtual SAN Observer 


在 vCenter 的 命令 行 中 输入 以 下 命令 启动 Virtual SAN Observer: 


vsan. observer vcenterIP/ExchangeDC/computers/ExchangeCluster/ --ftorce --run- 


webserver -g /tmp/  --max-runtime 3 
该 命令 使 Virtual SAN Observer 运行 3 个 小 时 ， 并 且 在 vCenter 的 /tmp 下 生成 目录 ， 同 时 运行 实时 监控 的 网 络 服务 器 。 
(2) 在 12 个 数据 库 和 2 个 副本 上 开局 Jetstress 压 力 测试 
表 10-4 列 出 了 在 每 个 邮箱 服务 器 上 的 Jetstress 设 置 (总 共有 4 个 服务 器 ) 。 


表 10-4 Jetstress 设 置 


Jetstress 选项 参 数 
测试 分 类 测试 Exchange 邮箱 
邮箱 数量 每 个 服务 器 1250 4 
IOPS/ 邮箱 0.17 
邮箱 大 小 2 GB 
Suppress 调试 和 线程 数量 3 
测试 类 型 性 能 测试 
多 主机 测试 已 选 

运行 后 台数 据 库 维护 已 选 
测试 时 间 2 小 时 


2. 测 试 结果 


此 Virtual SAN 解 决 方案 以 100% 通 完成 Jetstress 测 | 试 。 


4 人 台 服 务 器 运行 12 个 邮箱 数据 库 ， 总 共有 5000 个 2GB 邮 箱 通过 了 Exchange Jetstress 测 试 。 数 据 库 平均 读 写 速度 远 低 于 20 富 
秒 的 临界 值 。 与 此 同时 ， 平 均 读 取 和 写 入 到 日 志文 件 的 速度 均 低 于 10 毫 秒 的 临界 值 。 我 们 设置 了 Exchange Jetstress 的 测试 维护 
模式 。 使 用 维护 模式 增加 了 Exchange 存 储 的 额外 压力 。 


表 10-5 为 Jetstress2013 衡 量 指标 。 


表 10-5 Jetsttess2013 衡 量 指标 


已 达成 Exchange 事务 IOPS 
区 E a ne" 290 294 268 269 
(VO 数据 库 每 秒 读 取 数 十 IO 数据 库 每 秒 写 人 数 ) 


O 数据 库 每 秒 谈 取 数 197 199 182 182 
IO 数据 库 每 秒 写 和 人数 is ii 
(ZÈ) 

性 能 参数 服务 器 1 服务 器 2 服务 器 3 服务 器 4 


总 IOPS ( VO 数据 库 每 秒 读 取 数 +LO 数据 库 每 秒 写 
T o 每 秒 读 取 数 十 IO 日 志 复 制 每 秒 读 取 数 十 IO 359 364 336 336 
18b t AS) 


10.4.4 Exch3ange Server 在 Virtual SAN 上 的 备份 和 恢复 


vSphere Data Protection 通 过 vCenter 客 户 冰 和 Exchange Server 集 成 提供 了 Exchange 邮 箱 数 据 恢复 的 附加 层 。vSphere 
Data Protection 能 感知 DAG， 并 支持 Virtual SAN 和 传统 SAN 人 存储 。Virtual SAN 可 以 提供 统一 的 数据 存储 来 备份 虚拟 机 和 用 户 
数据 库 。 用 户 可 以 使 用 vSphere Data Protection 插 件 ， 通 过 vCenter Web 客 户 端 来 实现 简易 备份 配置 。 


随 着 Exchange 感 知 代理 与 客户 操作 系统 的 融合 ，vSphere Data Protection 可 同时 用 于 客户 新 访问 和 邮箱 的 Exchange 
Server 角 色 。 当 操作 系统 由 于 打 补 丁 而 损坏 或 故障 时 ， 整 个 CAS 的 虚拟 机 可 以 快速 恢复 。Exchange 邮 箱 数据 库 备份 恢复 也 可 保 
护 邮 箱 服 务 器 的 虚拟 机 。 


为 支持 应 用 程序 级 备份 ， 必 须 在 每 个 Exchange 服 务 器 客户 问 上 安装 vSphere Data Protection Agent 进 行 备份 和 恢复 。 


前 提 条 件 : 使 用 vSphere Data Protection 之 前 ， 首 先 要 安 六 和 配置 此 应 用 。 和 党 理 员 必 须 拥有 用 于 DAG 的 vSphere Data 
Protection 的 Exchange 服 务 器 和 SMB share 的 管理 权限 。 


1.vSphere Data Protection Agent 的 安装 步 又 


1) 在 每 个 Exchange 服 务 器 客户 端 上 ， 访 问 vSphere Data Protection 网 页 端 ， 如 图 10-4 所 示 。 


Welcome to vSphere Data Protection 


To manage a vSphere Data Protection Appliance, select an 
appliance from the drop-down list and click Connect 


VDP sopance 


Status: Notconnected 


To deploy a new instance of the vSphere Data Protection 
Appliance, select vCenter » Hosts and Clusters. Right-click the 
server to which you want to deploy the Appliance and select 
Deploy OVF Template. 





图 10-4 vSphere Data Protection 网 页 35 


2) 在 Downloads 栏 ， 选 择 Microsoft Exchange Server64bitzz Pim, 20H)10-5AAza. 


VDP appliance time: — 10/07/2015 07:08 PM 


Time zone: 








图 10-5 Microsoft Exchange Server64bit & P 3% 


3) voBEZCExchange Server GLR 插 件 ， 如 图 10-6 所 示 


VMware VDP for Exchange Server Setup 
Select the operation you wish to perform. 


Exchange GLR 


requires à system reboot at the end of 
installation. 


This feature requires 40MB on your 
hard drive. 





图 10-6 ”选择 Exchange Server GLR 454 


4) 选择 安 半 目标 文件 夹 ， 如 图 10-7 所 示 。 


Destination Folder 
Cick Next to install to the default folder or dick Change to choose another. 


[C:\Program Files \avp \var \avfscache\ 


Change... 





图 10-7 选择 安装 目标 文件 夹 


5) 输入 vSphere Data Protection 设 备 I|P 地 址 ， 如 图 10-8 所 示 。 


Please Enter VDP Information 


nad 


VMware vSphere 


bUata Protection 
[v] Launch Exchange Backup User Configuration Utility 





图 10-8 4 AvSphere Data Protection ik 41P #4 hk 


6) ZRA, SeHEInstallZzzezzzm, AE 10-9Brzm. 


Windows Security 


Would you like to install this device software? 


gm, Name: EldoS Corporation System devices 
| Publisher: EMC Corporation 


Always trust software from "EMC Corporation". Don't Install 


a You should only install driver software from publishers you trust. How can | decide 
hich | re i j I? 








图 10-9 ”安装 窗口 弹出 


7) GRA RIA, wAvSphere Data Protection Exchange 备 份 用 户 配置 工具 ， 如 图 10-10 所 示 。 不 要 重新 局 动 服务 器 ， 
输入 vSphere Data Protection 备 份 的 用 户 名 和 密码 。 选 择 指定 的 Exchange 服 务 器 和 邮箱 数据 库 。 选 择 Configure Backup 
Agent， 然 后 单 击 Configure Services。 


storage group 


Mailbox store CB4 4 


Cheadone [ ek | [ Geom | [Ga re 


COUT: Check user member of group success CN -Administrator, CN -Users, DC 2exch,DC -pe is member of Domain Adn ~ 
VMwarevDeBackupUser 1 setting password never expires PASSED! 

VMwareVDPBackupUser 1 set username PASSED! 

VMwarevDPBackupuser 1 group member ship check PASSED! 

VMwarevDPBackupuser 1 check mailbox - test PASSED! 

VMwareVvDPBackupuUser 1 user logon test PASSED! 

Local service restarted successfully under VMware ser 1! 





图 10-10 vSphere Data Protection Exchange-&-47 Jf] P At &. AL 


2.vSphere Data Protection? A 


由 于 该 Exchange 服 务 器 加 入 了 Exchange DAG， 因 此 需要 额外 的 配置 步骤 来 完成 v3yphere Data Protection 的 配置 。 


1) 选择 并 确认 Exchange DAG vSphere Data Protection， 如 图 10-11 所 示 。 


Plug-ins 


The VDP plug-ins that appear in black were detected on the dag01 duster. Select a plug-in to configure: 
VDP Backup Plug-ins 
Exchange DAG 
SQL 
SQL AlwaysOn 


VMware vSphere 
Data Protection 








图 10-11 选择 并 确认 Exchange DAG vSphere Data Protetion 


2) 选择 并 确认 指定 的 Exchange DAG 服 务 器 安装 好 了 vSphere Data Protection Windows 客 户 端 ， 如 图 10-12 所 示 。 


The following list provides information for all known nodes for the dag01 duster. The Exchange DAG Client wil 
be configured for all nodes with an Up status. 





VMware v5phere 
Data Protection 





图 10-12 ”选择 并 确认 指定 的 Exchange DAG 服 务 器 安装 好 了 vSphete Data Protection Windows & P 35 
3) 选择 Configure a new DAG client for all nodes, 


4) 确认 已 满足 配置 前 提 条 件 ， 如 图 10-13 所 示 。 


Prerequisites 


Verify that the DAGPE duster environment meets the following prerequisites before configuring 
the Excha DAG Client: 
* The VDP Windows Client has been installed. © 

The VDP Backup Plug-in for Exchange DAG has been installed. © 
The DAG Group exists if the DAG dient is already configured for any nodes. o 
An unused static IP address is available to be assigned to the new VDP Exchange DAG Client. @ 
The machine accounts for all the duster nodes need to have full access to the SMB share. QJ 
Exchange DAG federated backup must have a network share created (to be used as the var directory). 9 


VMware vSphere 
Data Protection 


— ili nd 
Welcome Plug-ins DAG Nodes Operations Prerequisites DAG 
Settings 





图 10-13 ”确认 已 满足 配置 前 提 条 件 


5) 输入 DAG 客 户 端 的 IPv4 地 址 ， 如 图 10-14 所 示 。 


DAG Client Settings 


Specify the settings for the Exchange DAG Client: 
Group name for the DAG dient: | UBER 


DAGdientrame: [woa | 


Select the DAG network from the list, and then edit the IP address and IP subnet mask for the DAG dient: 


IP Address 
192. 168. 100.0 


VMware vSphere 


Data protection DAG dient IPv4 address: [< -7 | 
DAG dient IP subnet mask: (255.255.255. 0 | 








Welcome Plug-ins DAG Nodes Operations Prerequisites DAG Client User Settings Server Client settings — Summary Progress Results 
Settings Settings 





图 10-14 输入 DAG 客 户 端 的 IPv4 地 址 
6) 选择 使 用 Local System account。 


7) 输入 vSphere Data Protection 设 备 的 IPv4 地 址 ， 如 图 10-15 所 示 。 


Server Settings 


Configure 'Av-DAGPE' client 


Avamar server: 
( Name |«not available » 


IPv4 | - : | 
e address: | I : 
port number: 


VDP dient domain for the DAG | 
dient: /dients/VDP Apps /ExchangeDAG 











VMware vSphere 
Data Protection 


Welcome Plug-ins DAG Nodes Operations Prerequisites DAG Client User Settings Server Client settings Summary 
Settings Settings 





10-15 4i AvSphere Data Protection 4 4 IPv4 Xo bk 
8) 输入 DAG 客 户 端的 var 和 SYSDIR 目 录 。 注 意 : 此 配置 为 DAG vSphere Data Protection 客 户 端 创建 了 SMB share, 
9) 选择 Configure。 
10) 确认 页 面 跳 出 后 ， 选 择 Finish。 
3. 使 用 vSphere Data Protection 进 行 备 份 和 恢复 


1) 在 Backup job actions 下 拉 杠 中， 选择 New， 如 图 10-16 所 示 。 


Sphere Da.. |» | P &l- NM/ions 加 
Getting Started | Backup Restore Replication Reports Configuration 


Backup Verification 
a? Refresh 
"o New 
@ Eat 
@ Clone 
il Delete 


Filter. Show Al v 


Name 
exch3 


的 Enable/Disable 


Enabled 
1 Application DB Show items 





图 10-16 ”新 的 Backup job actions 
2) 在 Job Type 中 ， 选 择 Applications。 
3) 在 Data Type 中 ， 选 择 Selected Databases, 


4) 当 创建 一 个 新 的 备份 作业 时 ， 选 择 需 要 的 备份 类 型 。 在 Backup Sources 中 ， 选 择 Exchange 邮 箱 数据 库 ， 如 图 10-17 所 


小 \。 


(x) 


Create a new backup job 


w^ 1 Job Type Backup Sources 
w' 2 Data Type Select the backup sources from the list below. 


3 Backup Sources 


4 Backup Options [M| Clear All Selections 
5 Schedule 
6 Retention Policy 


7 Job Name 


EN, Microsoft SQL Server 

加 Microsoft SQL Failover Cluster 
d) Microsoft SQL AlwaysOn Cluster 
8 Ready to Complete ER Microsoft Exchange Server 

G Microsoft Exchange DAG Cluster 


v EM avdag01 


w [.] Exchange Information Store 


mM BU: 


Cancel 





图 10-17 ”选择 Exchange 邮 箱 数 据 库 


5) 在 Backup Options 中 ， 输 入 Exchange 管 理 员 的 用 户 名 和 密码 ， 如 图 10-18 所 示 。 设 置 DAG Backup Policy 为 Prefer 


Passive, 


w^ 1 Job Type Configure advanced options. 
w 2 Data Type 


w^ 3 Backup Sources 

K 4 Backup Options 
5 Schedule (3 Microsoft Exchange DAG Cluster w^ Reset options 
6 Retention Policy 


7 Job Name i i —— 
8 Ready to Complete Username: | exch.pewmwarevdpbackupuser1 





Exchange Administrator Credentials 


Password: 





Backup type: 
When backups include circular logging-enabled databases: 


Promote - Backup all, promote all to full: 


Circular - Only backup circular logging-enabled databases, ee all to 
full: 








Skip - Skip circular logging-enabled databases, allow incremental: 














图 10-18 4 AExchange ££ ji $47 Jf] P e fa RA 


6) vSphere Data Protection 在 备份 周期 上 ， 用 户 有 多 重 选择 。 用 户 可 以 选择 每 天 、 每 周 ， 甚 至 每 月 备份 。 在 备份 保留 选 
INE, vSphere Data Protection 也 又 持 用 户 根据 需要 自主 选择 具体 时 间 ， 如 图 10-19 所 示 。 


1 Job Type Schedule 
2 Data Type The schedule determines how often your selections will be backed up. Backups will occur as close to the start of the backup 


window as possible. 
3 Backup Sources 
4 Backup Options 


Backup Schott: © Dai 
6 Retention Policy ©) Weekly performed every | Sunday | Y | 
7 Job Name N O The Sunday | * | of every month 


8 Ready to Complete 


Start Time on Server: | 8:00PM |) 











图 10-19 ”选择 最 优 备份 时 刻 表 


7) 选择 备份 保留 策略 ， 如 图 10-20 所 示 。 


1 Job Type Retention Policy 
2 Data Type The retention policy determines how long backups are retained. After this time period expires, they are deleted from the system. 














3 Backup Sources 一 一 一 
4 Backup Options 
5 Schedule Keep: () Forever 


© for (das) |. 
7 Job Name Q unti [12/07/2015 | A 
——— ©) this Schedule: 
Daily for: 
Weekly for: 


Monthly for: 





Finish 





图 10-20 ”选择 备份 保留 策略 


8) 输入 任务 名 ， 如 图 10-21 所 示 。 


Job Name 
Specify the backup job name. 


Name: | DAGO1bkup The backup job name is 


required and must be unique. 


v^ Bn ditur 


8 Ready to Complete 


| Back || Next | Finish | Cancel | 





图 10-21 输入 任务 名 


9) 选择 Finish。 


10) 局 动手 动 备份 ， 如 图 10-22 所 示 。 


NENNEN 
Backup Verification 


&» Refresh ~- Backup job actions > Backup now 


Backup all sources 
Backup only out of date sources 


Filter. Show All ¥ 


A State Type Last Start Time Duration 


Enabled Application DB Never Never 
Enabled Application DB 10/06/2015 10:0! 0h:0m:30s 10/08/2015 08:0! 1 0 VDP Appliance 


DAGO1bkup 
State: Enabled 
Sources: 1 Application DB Show items 
Outofdate: 0 





图 10-22 ”启动 手动 备份 


4.DAG 邮 箱 恢 复 场 景 


1) 场景 设置 为 恢复 CEO 邮 箱 ， 如 图 10-23 所 示 。 用 Exchange ECP 去 验证 哪个 邮箱 数据 库 承 载 了 CEO 的 邮箱 。 在 该 场景 中 
为 DB1。 


| @ https://exch1/ecp/UsersGroups/EditMailboxaspx?pwmcid=6&RetunObjectType=1&id=32585e98-61e0-4f04-a0b9-422a14d3a90 


CEO 


» general 
mailbox usage 
contact information 
organization 
email address 


mailbox features 
member of "User logon name: 


MailTip e 


mailbox delegation [ ] Require password change on next logon 
[ ] Hide from address lists 


Organizational unit: 


Custom attributes: 


f 





图 10-23 CEO4j "4 


2) MvSphere Data Protection 插 件 中 ， 选 择 恢复 时 间 点 并 深入 邮箱 数据 库 ， 选 择 要 恢复 的 邮箱 ， 如 图 10-24 所 示 。 


Create a new backup job 








w 1 Job Type Backup Sources 
w 2 Data Type Select the backup sources from the list below. 


^ 3 Backup Sources 


4 Backup Options = 
up Opt iat} Clear All Selections 


5 Schedule 
v [9 Microsoft SQL Server 


v É bmf250-p.bmfdc01.com 
v (E) L .] (local) 


6 Retention Policy 
7 Job Name 


8 Ready to Complete Wj @ TPCE250GB 


| ] L3 master 
|_| Lg model 
|_| Lg msdb 
| | Lg tempdb 
> É bmf250-s.bmfdc01.com 
> E Microsoft SQL Failover Cluster 
^ d Microsoft SQL AlwaysOn Cluster 
> ER Microsoft Exchange Server 
UA Microsoft Exchange DAG Cluster 











图 10-24 选择 要 恢复 的 邮箱 
3) 在 Set Restore Options 中 ， 选 择 目标 Exchange 服 务 器 。 
4) 在 Set Restore Options 中 ， 输 入 客户 端 名 称 。 


5) 确认 完成 。 
10.4.5 Site Recovery Manager 容 灾 恢 复 


对 Exchange 服 务 器 使 用 Site Recovery Manager 能 充分 利用 复制 技术 提供 高 效 的 跨 广域网 的 容 灾 保 护 。 可 配置 的 故障 转移 
和 故障 恢复 由 Site Recovery Manager 进 行 自动 管理 。Site Recovery Manager 可 以 帮助 灾难 模拟 和 验证 企业 容 灾 恢复 计划 的 完 
整 性 。 与 此 同时 ， 在 Exchange 生 产 环境 中 不 中 断 邮件 流 的 服务 可 用 性 ， 并 提供 持续 的 客户 端 访问 。 


1. 测 试 步骤 


用 户 可 以 按照 如 下 步骤 ， 在 Virtual SAN 集 群 上 为 Exchange 服 务 器 设置 容 灾 恢复 计划 。 设 置 成 功 后 ， 保 护 站 点 的 受 保护 虚 
拟 机 能 够 在 容 灾 恢 复 站 点 恢复 : 


1) 在 每 个 站 点 安 洲 和 配置 Site Recovery Manager， 更 多 关于 如 何 安 沪 和 配置 Site Recovery Manager 的 信息 ， 请 参考 


(VMware vCenter Site Recovery Manager6.0Documentation Center) , 


2) 安装 和 配置 vSphere Replication。 更 多 关于 如 何 安 装 和 配置 vSphere Replication 的 信息 ， 请 参考 《VMware vSphere 


Replication6.0Documentation Center) , 
3) 通过 https://<vsphere replication server address>:5480 在 vCenter 中 注册 vSphere Replication, 
4) 监控 vSphere Replication 的 备份 状态 。 


用 户 可 以 在 受 保护 的 站 点 或 恢复 站 点 查看 监控 状态 ， 通 过 登录 vSphere Web Client， 单 击 vSphere 


Replication Sites Monitor vSphere Replication 来 检查 3 个 选项 : outgoing 的 备份 ，incoming 的 备份 和 报告 。 以 此 监控 
备份 状态 ， 碍 看 虚拟 机 的 vSphere Replication 配 置 。 


用 尸 可 以 在 受 保护 的 站 点 或 恢复 站 点 查看 监控 状态 ， 如 图 10-25 所 示 。 


Summary | Monitor | Manage Related Objects 











| Issues | Log Browser | Tasks | Events | System Logs | Service Health [vSphere Replication | 











« $ -Me ME G 


Outgoing Replications Virtual Machine Status Target VR server 


Incoming Replications c} ExchSvr4 @ OK ps Hs [3; vSphere Replication 
Reports 





图 10-25” 受 保护 站 点 的 复制 状态 


vSphere Replication 报 告 总 结 了 备份 状态 ,包括 备份 的 虚拟 机 、 传 输 的 字 节 、RPO 站 突 、 备 份 数 、 站 点 连接 和 vSphere 
Replication 服 务 器 连接 状态 ， 如 图 10-26 所 示 。 


Summary | Monitor | Manage Related Objects 


| Issues Log Browser | Tasks | Events | System Logs Service Health 





44 - 
Outgoing Replications ~ Replicated VMs (by VC) 


Incoming Replications ps bytes 

305.18 MB 
267.03 MB 
228.88 MB 
190.73 MB 
152 59 MB 
114.44 MB 

76.20 MB 
|] Replicated virtual machines 38.15 MB 
0B 





Filter by date range: | Today | Y 











0 


a Mot ceptentes ' 1205AM 235AM 5:08AM 7:35AM 10:05AM 12:08AM 215AM 4:25AM 6:35AM 6:45AM 10:55 AM 





ie VMs (by j " Total sont bytes 4 fj RPO violations count 














~ Site connectivity 
10.20.177 217 4 


10.20.177 93 


0 1 2 3 4 


|J Replicated virtual machines 








B] Not replicated virtual machines 1205 AM 2-15 AM. 4:25 AM 6:35AM 8:45AM 10:55 AM 12-05 AM 2-15AM 4:25AM 6:35AM 845AM 10:55 AM 


lj Number of replications f] Number of successful connections 




















图 10-26 vSphere Replicationdk + 
测试 的 具体 步骤 如 下 : 


1) 为 虚拟 机 创建 保护 组 和 恢复 计划 ， 如 图 10-27、 图 10-28 所 示 。 


Virtual machines 


Select virtual machines for this protection group. The replication status of the virtual 
machine will not be affected by adding or removing it from this protection group. 


Replicated Virtual Machines: 


Q Filter B 


[v] Virtual Machine Protection Status 


vi g ExchSvr4 In this protection group 


JOTE — à 


图 10-27 创建 保护 组 





1 Name and location Ready to complete 


Review your settings selections before finishing the wizard. 


2 Recovery site 


3 Protection groups 


Name: 

4 Test networks Location: 
v on 
Protected Site: 
Recovery Site: 
Protection Groups: 





ExchT 1-Plan 
prmb-corptechmktg2-dhcp-215.eng.vmware.com - SRMWDC 
Exchange T1 Mailbox Database 
prmb-corptechmktg2-dhcp-215.eng.vmware.com 

SRMWDC 

ExecT1 





Cancel 








图 10-28 创建 恢复 计划 


2) 运行 测试 计划 并 确保 保护 站 点 可 以 接管 保护 组 中 的 虚拟 机 。 图 10-29 所 示 为 Exchange 服 务 器 数据 可 用 性 组 虚拟 机 完成 测 


试 的 截图 。 


Plan status: @ Test complete 


Description: 


gil» 240 


Recovery Step 
> EJ 1. Synchronize Storage 
Pe 2. Restore Recovery site hosts from standby 
Cth 3. Suspend Non-critical VMs at Recovery Site 


> Eg 4. Create Writeable Storage Snapshot 
Gy 5. Power On Priority 1 VMs 
A 6. Power On Priority 2 VMs 
v & 7. Power On Priority 3 VMs 
> 40 7.1. ExchSvr4 
E 8. Power On Priority 4 VMs 
9. Power On Priority 5 VMs 


图 10-29 





The virtual machines have been recovered in a test environment at the recovery site. Revie 
remove the test environment, run a Cleanup operation on this plan. 


Status 
w Success 


w Success 


w Success 


w Success 


w Success 


测试 计划 状态 


3) 清理 恢复 计划 : 单 击 Site Recovery， 在 左边 的 面板 选择 Recovery Plans， 在 右边 的 面板 选择 具体 的 恢复 计划 


一 ActionSs 一 Cleanup。 
2. 总 结 与 建议 
容 火 恢复 功能 总 结 如 下 : 
- Virtual SAN 为 保护 和 恢复 站 点 提供 了 统一 的 存储 平台 。 


VSphere Replication 的 最 小 RPO 的 设置 范围 可 以 为 5~144 分 钟 。vSphere Replication 的 虚拟 机 VMDK 备 份 依赖 于 IP 网 络 ， 因 此 
如 果 网 络 带 宽 在 规定 的 时 间 内 不 能 完成 数据 备份 ，RPO 可 能 无 法 满足 ，vSphete Replication 就 会 报告 RPO 冲 突 。 用 户 可 以 通过 提供 
p p 


更 多 的 网 络 带宽 或 改变 RPO 策 略 来 解决 这 类 问题 。 
- vSphere Replication 从 一 个 站 点 或 城市 备份 虚拟 机 到 另 一 个 站 点 或 城市 时 ，DNS 服 务 器 或 了 网 络 可 能 会 改变 。 需 要 通过 DNS 


重新 设置 或 必要 的 修改 来 确保 虚拟 机 在 灾难 恢复 后 可 以 正常 工作 。 


10.4.6 Virtual SAN 弹性 应 对 硬件 故障 


1. 概 览 


本 书 主 要 验证 Virtual SAN 在 处 理 磁 盘 、 磁 盘 组 和 主机 故障 时 的 弹性 特性 。 验 证 设计 了 以 下 场景 用 于 模拟 真实 环境 下 会 遇 到 
的 各 种 组 件 故 障 ， 包 括 : 


| 单个 HDD 磁 盘 故 障 : 本 测试 用 于 评估 单 盘 遇 到 故障 时 ， 虚 拟 化 Exchange 服 务 器 受到 的 影响 。 热 播 拔 一 个 HDD 硬 盘 来 模拟 
盘 组 中 一 块 硬 盘 故 障 ， 并 观察 生产 环境 中 Exchange 服 务 器 数据 库 在 功能 或 性 能 上 是 否 会 受到 影响 。 


- 磁盘 组 故障 : 本 测试 用 于 评估 磁盘 组 遇 到 故障 时 ， 虚 拟 化 Exchange 服 务 器 受到 的 影响 。 热 插 拔 一 个 SSD 来 模拟 磁盘 组 故 
障 ， 并 观察 生产 环境 中 Exchange 服 务 器 数据 库 在 功能 或 性 能 上 是 否 会 受到 影响 。 


存储 主机 故障 : 本 测试 用 于 评估 Vittual SAN 中 一 台 主 机 遇 到 故障 时 ， 虚 拟 化 Exchange 服 务 器 会 受到 的 影响 。 通 过 关闭 
Virtual SAN 集 群 中 一 台 主 机 的 电源 模拟 主机 故障 ， 并 观察 生产 环境 中 Exchange 服 务 器 数据 库 在 功能 或 性 能 上 是 否 会 受到 影响 。 


2. 测 试 场景 

(1) 单个 HDD 磁 盘 故 障 

当 4 台 主机 和 应 用 程序 在 Virtual SAN 上 运行 模拟 工作 负载 时 ， 一 台 主 机 上 的 一 个 磁盘 出 现 故 障 。 运 行 应 用 程序 的 ESXi 主 机 
继续 运行 ， 但 IM/O 暂 停 大 约 一 分 钟 然 后 重新 启动。 同时 使 用 vsan.disk stats 和 vsan.resync dashnoard 来 监视 Virtual SAN 状 态 和 
重新 同步 状态 。 当 一 个 磁盘 出 现 故障 时 ，Exchange 服 务 器 正在 运行 一 个 Jetstress 测 试 。 如 图 10-30 所 示 ，Exchsvr1 是 加 载 


Jetstress 的 Exchange 服 务 器 。 我 们 确定 了 Exchsvr1 的 VMDK 文 件 的 一 个 配套 物理 磁盘 并 从 服务 器 上 删除 尼 。 如 图 10-31 所 示 ， 
该 组 件 不 符合 SPBM ， 磁 盘 组 报错 。 


- (à ExchSwri 
E VM home ES Virtual S.. vy Compliant 9/29/2015 7:3.. @ Healthy 
@ Hard disk 1 ES Virtual S.. ww Compliant 9/29/2015 7:3.. @ Healthy 
& Hard disk 2 ES Virtual S.. @ Noncompl 9/29/20157:3.. @ Healthy 
&j Hard disk 3 Es Virtual S.. w Compliant 9/29/2015 7:3.. (9 Healthy 
- @® ExchSw2 
F) VM home 民 Virtual S.. . Compliant 9/29/20157:3.. @ Healthy 


Physical Disk Placement Compliance Fallures 
ExchSvr1 - Hard disk 2 : Physical Disk Placement 


— "E 
-—— 


(Q Filter 
Type Component State Flash Disk Name 
~ RAID 1 本 
Component B) Degraded 10.20.177.92 Local ATA Disk —2 
Component E Reconfiguring g 10.20.177.91 Local ATA Disk (naa.55cr 
Component B] Active g 10.20.177.91 Local ATA Disk (naa.550 


EM Aes 














图 10-30 ”单个 磁盘 故障 时 ， 加 载 Jetsress 的 Exchange 服 务 器 状态 


Disk Groups 


aw "Ee 


Disk Group Disks in Use State 
lll Disk group (020000000055cd26404b462124494054454c20) 6 | Mounted 
ll Disk group (020000000055cd2e404b471922494e54454c.. 6 Mounted 
~ B 1020.177.22 12 of 15 Connected 
ill Disk group (020000000055cd2e404b455e3e494e54454c.. 6 Mounted 


X p 10.20.177.91 12 of 17 


7 E Dick arnun NINNMNNNNNNEE a ANN 0145474100 AAA F.A 


Disk group (020000000055cd2e404b44dee 3494e54454c20): Disks 
a A| o € gato: ~ Show: | in use (6) 


l 
Name | Disk Role Capacity 
| i 
L " 人 


El Local ATA Disk (naa.55cd2e404b44dee3) Cache 372.61 GB | 
SEAGATE Serial Attached SCSI Disk (naa.5000c5006c05c86b) Capacity 838.36 GB 
SEAGATE Serial Attached SCSI Disk (naa.5000c5006c3cf837) Capacity 838.36 GB 
g SEAGATE Serial Attached SCSI Disk (naa.5000c5006c4596b7) Capacity 838.36 
Capacity 


A 





GÀ SEAGATE Serial Attached SCSI Disk (naa.5000c5006c3d064df) 838.36 GB 





图 10-31 单个 磁盘 故障 时 ， 磁 盘 组 报错 


从 Virtual SAN Observer 观 察 单 块 磁盘 出 现 故 障 产 生 的 影响 。 如 图 10-32 所 示 ， 在 .91 和 .92 主 机 上 有 延迟 和 突出 的 IO， 与 此 


EJA}, Exchange Jetstress 1O 在 主机 .94 上 继续 活动 ， 主 机 .93 由 于 没有 活动 10 而 没有 受到 显著 影响 。 


Latency IOPS Bandwidth Outstanding IO 


pe 


Latency IOPS Bandwidth Outstanding IO 


Er 


Latency IOPS Bandwidth Outstanding IO 


一 


IOPS Bandwidth Outstanding IO 
10.20.177.94 
Full size graphs 


图 10-32 “单个 磁盘 故障 时 ，Vittual SAN 节 点 的 延迟 和 IOPS 





如 图 10-33 和 10-34 所 示 ，Exchange Jetstress 在 单个 磁盘 故障 时 通过 了 测试 。 


est Summary 


Overall Test Result Pass 

Machine Name EXCHSVR1 

Test Description Disk failure 

Test Start Time 9/29/2015 7:03: 19 PM 
Test End Time 9/29/2015 9:05:33 PM 
Collection Start Time 9/29/2015 7:05:32 PM 
Collection End Time 9/29/2015 9:05:23 PM 
Jetstress Version 15.00.0995.000 

ESE Version 15.00.1104.002 
Operating System Windows Server 2012 R2 Datacenter (6.2.9200.0) 
Performance Log i 





图 10-33 ”单个 磁盘 故障 时 ，Exchange Jetsttess 测 试 通过 


Transactional I/O Performance 





MSExchan ; : 
Database ==> er 

Instances Average 

Instance14312.1 i I 582.904 451.467 34563.574 35082.536 0. -y 1. = 0.468 68.897 4096.000  |13177.529 


图 10-34 单个 磁盘 故障 时 的 事务 [IO 数据 


(2) 磁盘 组 故障 


当 4 台 主机 和 应 用 程序 在 Virtual SAN 上 运行 模拟 工作 负载 时 ， 一 台 主 机 上 的 两 个 磁盘 出 现 故 障 ， 如 图 10-35 所 示 。 运 行 应 用 
程序 的 ESXi 主 机 继续 运行 ， 但 /0 暂停 大 约 一 分 钟 然后 重新 启动 。 同 时 使 用 vsan.disk_stats 和 vsan.resync_dashnoard 来 监视 
Virtual SAN 状 态 和 重新 同步 状态 。 


Disk Groups 


alma -EC 
g Disk group (020000000055cd26e404547 1922494e54454c20) 6 Mounted Healthy | 
v 区 1020.177.92 12 of 15 Connected Unhealthy ^ SiteA 
a Disk group (020000000055cd2e404b4556e3e494654454c... Mounted | 
Disk Management igj Disk group (020000000055cd2e404b44dee3494e54454c... Mounted 
Fault Domains ~ @ 10.20.177.91 Connected 


Health lll Disk group (020000000055cd26404547 190e494e54454c.. Mounted 
nde mensum (NONNNNNNNNE EoD ^ ~ 
= Confi t -— Dick t a404543404 ADAREAAEA 


Disk group (020000000055cd2e404b44dee 3494e54454c20): Disks 


2 | {Al Actions ~ Show. inuse (6) h 
Name Capaaty Virtua! SAN Health S 
Ell Loca! ATA Disk (naa.550d2e404b44dee3) 37261GB Healthy 
SEAGATE Serial Attached SCSI Disk (naa.5000c5006c05c86b) 838.36 GB Healthy 
SEAGATE Serial Attached SCSI Disk (naa.5000c5006c3cf837) 838.36 GB Healthy 

® SEAGATE Serial Attached SCSI Disk (naa.5000c5006c4596b7) 838.36GB Permanent disk f. 
g SEAGATE Serial Attached SCSI Disk (naa.5000c5006c343323) 83836 GB Permanent disk! 
SEAGATE Serial Attached SCSI Disk (naa.5000c5006c3d06 df) 838.36 GB 





10-35 ”磁盘 组 故障 时 ， 磁 盘 组 报错 
Virtual SAN Observer 检测 到 两 块 磁盘 出 现 故障 。 如 图 10-36 所 示 ， 在 .91 和 .92 主 机 上 有 延迟 和 突出 的 IO ， 与 此 同时 
Exchange Jetstress 10 在 主机 .94 上 继续 活动 ， 主 机 .93 由 于 没有 活动 1O 而 没有 受到 显著 影响 。 


VSAN Disks 


IV. EJ. 


Full size graphs 


10.20.177.91 
Full graphs 


10.20.177.92 


Full size graphs 


10.20.177.93 
Full size graphs 


10.20.177.94 
Full size graphs 





图 10-36 ”磁盘 组 故障 时 ，Virtual SAN 节 点 的 延迟 和 IOPS 


如 图 10-37 和 10-38 所 示 ，Exchange Jetstress 在 磁盘 组 故障 时 通过 了 测试 。 





— Teast Summary 


Overall Test Result Pass 

Machine Nome EXCHSVR1 

Test Description Disk failure 

Test Start Time 9/29/2015 7:03: 19 PM 
Test End Time 9/29/2015 9:05:33 PM 


Collection Start Time 9/29/2015 7:05:32 PM 

Collection End Time 9/29/2015 8:05:23 PM 

Jetstress Version 15.060.0995.000 

ESE Version 15.00.1104.002 

Operating System Windows Server 2012 R2 Datacenter (6.2.9200.0) 

Performance Log C:\Program Files\Exchange JetstressyPerformance 2015 9 29 19 3 21.bl 





图 10-37 磁盘 故障 时 ，Exchanpe Jetsttess 测 试 通过 


1/0 Database |I/O Database |I/O Log 1/0 Log 1/0 Log 1/0 Log Log 1/0 Log 
Database [Database Wntes 
Reads/sec |Writes/sec |Average Average verage Average verage Average 
Bytes tency Latency 
msec) (msec) 
7.207 582.904 451.467 34563.574 |35082.536 [0.373 1.630 0.468 68.897 4096.000  |13177.529 


图 10-38 ”磁盘 组 故障 时 的 事务 IO 数据 


Transactional I/O Performance 





(3) 存储 主机 故障 


第 三 个 弹性 测试 是 主机 故障 检测 。 在 本 测试 中 ， 我 们 重新 启动 Virtual SAN 集 群 内 的 ESXi 主 机 。 在 Jetstress 运 行 过 程 中 选 
择 .91 主 机 并 重新 启动 主机 。 如 图 10-39 所 示 ，Exchange Jetstress 的 测试 继续 运行 在 主机 .91 和 .93 上 。 与 此 同时 .92 主 机 上 |O 量 
小 ， 而 .94 主 机 在 .91 主 机 重启 前 后 几乎 没有 IO。 


Latency IOPS Bandwidth Congestion Outstanding IO Latency stddev 


10.20.177.91 | | 
Full size graphs 
RD TEFS NONO RET cn pats REA EDS Ks TD GERI ET RY TA, DIN PROS Wl 十 -一直 一 一 一 一 


Latency IOPS Bandwidth Congestion Outstanding IO Latency stddev 


10.20 177.92 | 
Full size graphs | 


Latency IOPS Bandwidth Congestion Outstanding IO Latency stddev 
10.20 177.93 4 
Full size graphs 
| CW.) <ul eae ea a DX D 


Latency IOPS Bandwidth Congestion Outstanding IO Latency stddev 


10.20.177.94 
Full size graphs 





图 10-39 ”主机 故障 测试 结果 


如 图 10-40 和 10-41 所 示 ，Exchange Jetstress 在 主机 故障 时 通过 了 测试 。 


Microsoft Exchange Jetstress 2013 


Performance Test Result Report 


rest Summary 

Overall Test Result Pass 

Machine Name EXCHSVR1 

Test Description Node failure 

Test Start Time 10/9/2015 9:24:12 PM 

Test End Time 10/9/2015 11:24:31 PM 

Collection Start Time 10/9/2015 9:24:31 PM 

Collection End Time 10/9/2015 11:24:16 PM 

Jetstress Version 15.00.0995.000 

ESE Version 15.00.1104.002 

Operating System Windows Server 2012 R2 Datacenter (6.2.9200.0) 
Performance Log C:\Program Files\Exchange Jetstress\Performance 2015 10 9 21 24 14.blg 


Database 

Achieved Transactional I/O per Second 2008.918 
Target Transactional I/O per Second 42.5 

Initial Database Size (bytes) 531703529472 
Final Database Size (bytes) 535939776512 
Database Files (Count) 1 





图 10-40  £Xu EHI, Exchange Jetstress i] 试 通过 


I/O Performa 


MSExchange I/O Database |I/O Database |I/O IO I/O Database |I/O Database |I/O Log I/O Log I/O Log I/O Log I/O Log I/O Log 
Database ==> Reads Average| Writes Database Database Reads Writes Reads Writes Reads/sec |Writes/sec |Reads Writes 
Instances Latency Average Reads/sec |Writes/sec |Average Average Average Average Average Average 


(msec) Latency Bytes Bytes Latency Latency Bytes Bytes 
(msec) (msec) (msec) 
Instance12300.1 1.696 6.081 1114.697 894.221 33222.927 33510.395 0.639 2.266 125.616 4096.000 14507.731 





图 10-41 主机 故障 时 的 事务 IO 数据 


在 Jetstress 的 测试 中 与 测试 后 我 们 都 可 以 友 送 和 接收 电子 邮件 。vSphere HA 和 DRS 功 能 执行 必要 的 虚拟 机 迁移 并 局 动 之 前 
在 10.20.177.91 的 虚拟 机 。 请 注意 ， 在 故障 测试 中 只 使 用 了 一 个 邮箱 数据 库 。Exchange 邮 箱 数据 库 次 要 副本 在 各 目的 虚拟 机 上 
变 成 主 副本 。 重 新 建立 连接 到 新 激活 的 Exchange 邮 箱 数据 库 副 本 大 概 只 有 一 分 钟 的 延迟 ， 并 且 无 须 用 户 干 预 。 


总 之 ， 当 一 个 节点 的 ESXi 被 断 电 ，Virtual SAN 能 够 提供 必要 的 性 能 和 弹性 用 于 支持 如 Microsoft Exchange Server2013 这 
样 的 关键 应 用 或 者 服务 。 


10.5 Virtual SAN EExchange Server2013 的 最 佳 实践 


一 个 设计 良好 的 Virtual SAN 对 成 功 实施 企业 级 应 用 程序 如 Exchange 至 关 重 要 。 本 解决 方案 的 重点 是 VMware Virtual SAN 
在 Exchange Server2013 上 的 最 佳 实践 。 天 于 CPU 和 网 络 配置 的 详细 信息 ， 请 参 赔 《Microsoft Exchange Server2013on 
VMware Best Practices Guide) , 


10.5.1 ”邮箱 服务 器 和 DAG 大 小 


对 于 整体 空间 要 求 和 单个 磁盘 大 小 ， 使 用 Exchange Server2013sizing and capacity planning， 以 确定 Exchange 环 境 中 
所 需 的 存储 和 服务 器 容量 。 我 们 使 用 的 2500 个 2GB 邮 箱 在 Exchange 上 运行 Jetstress， 每 个 邮箱 0.17IOPS， 相 当 于 每 天 接收 250 
封 75KB 的 邮件 ， 总 量 要 求 为 18TB。 根 据 研究 结果 ， 我 们 创建 了 一 个 4 节点 的 Exchange DAG， 每 个 服务 器 有 3 个 主 邮 件数 据 库 和 
3 个 副本 。 当 SPBM 设 置 中 的 FTT = 1 时 ， 这 种 配置 的 总 原始 容量 的 要 求 是 36TB。 当 SPBM 设 置 中 的 FTT> 1 时， 所 需 的 空间 增 大 。 


10.5.2 ”虚拟 机 配置 和 磁盘 阵 让 


根据 《Microsoft Exchange Server20130n VMware Best Practices Guide》， 推 荐 每 个 Exchange 邮 箱 数 据 库 和 日 志 磁 盘 
使 用 半 虚 拟 化 SCSI 适 配器 。 例 如 ， 访 配置 使 用 6 个 邮箱 数据 库 磁盘 和 6 个 日 志 磁 盘 分 配 到 3 个 不 同 的 半 虚 拟 化 SCSI 适 配器 ， 如 表 
10-6 所 示 。 


表 10-6 ”虚拟 机 磁盘 配置 


change 角色 安装 盘 虚拟 硬件 
CPU: 8 核 

内 存 -64GB 

存储 -SCSI 控制 器 0: 

ii ft 1-80GB (OS 和 应 用 程序 文件 ) 
存储 -SCSI 控制 1: 

lili S 2-633GB(DB1) 

i fi 3-60GB(LOGI) 
磁盘 4-633GB(DB2) 
磁盘 5-60GB(LOG2) 
存储 -SCSI 控制 器 2 : 

lili f 6-633GB(DB3) 


C) 


IRI s HH 4 个 节点 组 成 

正 篆 运行 时 每 个 节点 托管 350 
个 邮箱 磁盘 7-60GB(LOG3) 
lili f 8-633GB(DB4) 
lili f 9-60GB(LOG4) 
存储 -SCSI 控制 器 3: 
磁盘 10-633GB(DB5) 
hii f 11-60GB(LOG5) 
lili f 12-633GB(DB6) 
fifi f 13-60GB(LOG6) 


网 络 -vNIC 1-LAN/Client 连接 
网 络 -vNIC 2-LAN/Client 连接 


10.5.3 “CPU 配置 设计 原则 


本 节 介 绍 了 Exchange 虚 拟 机 CPU 配置 设计 原则 : 
- 在 预期 的 Exchanpge 负 载 能 够 发 挥 vCPU 优 势 时 ， 分 配 多 个 vCPU 到 虚拟 机 。 
“ 车 用 户 不 清楚 具体 的 工作 负载 量 ， 可 以 通过 先 减 少 vrCPU 数 量 ， 然 后 逐渐 增加 来 确定 。 


- 对 于 性 能 关键 Exchange 虚 拟 机 《生产 系统 ) ， 分 配给 所 有 虚拟 机 的 vCPU 的 总 数 应 等 于 或 小 于 ESXi 主 机 上 的 物理 内 核 的 数 
量 ， 而 不 是 超 线程 内 核 数 。 


. 建议 的 最 大 CPU 核 数 为 24。 
C 建议 的 最 大 内 存 为 06GB。 


如 果实 际 工作 量 的 监测 显示 Exchange 应 用 程序 并 没有 从 增加 的 CPU 中 受益 ，VMware 建 议 减少 vCPU 的 数量 。Exchange 规 
划 调 整 工具 通常 为 CPU 大 小 提供 保守 建议 。 结 果 是 特定 邮箱 分 配 的 虚拟 机 数目 可 能 未 被 充分 利用 。 具 体 信 息 请 参阅 《Microsoft 


Exchange Server2013on VMware Best Practices Guide) 。 


10.5.4 ”内 存 配 置 设计 原则 
本 节 提 供 针对 Exchange Server 数 据 库 虚 拟 机 的 内 存 配 置 原则 。 因 为 通常 来 讲 ，Exchange Serer FARREN FEKAR 
型 负载 ， 性 能 通常 是 关键 因素 (特别 是 在 生产 环境 中 ) 。VMware 建 议 做 法 如 下 : 


` 不 要 在 运行 Exchange 工 作 负 载 的 ESXi 主 机 上 过 量 使 用 内 存 。 对 于 生产 系统 ， 可 以 通过 内 存 预 留 来 设 定 虚 拟 机 配置 的 大 小 。 


- 设置 内 存 预 留 可 能 会 限制 VMware vSphere vMotion。 在 目标 ESXi 主 机 具有 不 少 于 预 留 物 理 存储 大 小 的 情况 下 ， 才 能 迁移 
虚拟 机 。 


+ 虚拟 机 设置 内 存 预 留 ， 结果 生 成 0 字 节 的 虚拟 机 VMkernel 交 换文 件 ， 能 消耗 更 少 的 存储 空间 ， 并 消除 ESXi 主 机 级 别 的 交 
换 。 在 虚拟 机 中 的 客户 机 操作 系统 仍然 需要 有 自己 的 页 面 文件 。 


- 当 运 行 Exchange 虚 拟 机 的 主机 上 内 存 过 度 使 用 时 ， 当 SLA 显 示 内 存 是 “有 保证 ”的 ， 或 者 当 有 回收 虚拟 机 交换 文件 所 使 
用 空间 的 需求 时 ， 才 建议 进行 内 存 预 留 。 


正确 配置 虚拟 机 内 存 至 关 重 要 。 了 解 预 期 的 邮箱 配置 文件 以 及 推荐 的 邮箱 缓存 分 配 来 确定 内 存 分 配 的 最 住 切 入 点 。 请 参阅 
Exchange Server2013Sizing and Configuration Recommendations 和 Exchange Server Role Requitements Calculator, 以 确 X Exchange IRF 28 


的 内 存 需求 。 
` 不 要 禁用 气球 驱动 程序 (与 YMwate Tools 一 起 安装 的 ) o 


- 启用 DRS 来 平衡 ESXi 主 机 集群 的 工作 负载 。DRS 和 内 存 预 留 可 以 给 关键 工作 负载 提供 最 佳 运 作 的 所 需 资 源 。DRS 提 供 规 则 
来 维持 同一 ESXi 主 机 或 主机 组 上 虚拟 机 分 开 或 绑 定 。 在 Exchange 环 境 中 ， 反 关联 性 规则 最 常见 的 情况 是 使 安装 同样 角色 的 
Exchange 虚 拟 机 彼此 分 开 。CAS 阵 列 中 的 CAS 服 务 器 能 在 同一 个 ESXi 主 机 上 运行 ，DRS 规 则 用 于 防止 CAS 虚 拟 机 只 运行 在 一 个 


ESXi 主 机 上 。 
有 关 使 用 DRS 与 Exchange Server2013 的 详细 建议 ， 请 参阅 VMware 官 方 文档 《Microsoft Exchange Server2013 在 


VMware 的 最 佳 实践 》.。 


10.5.5 网络 配置 设计 原则 
本 节 涵盖 了 虚拟 网 络 环境 设计 的 指导 方针 ， 并 提供 了 Exchange Server2013 安 装 中 的 ESXi 主 机 的 配置 示例 ， 如 图 10-42 所 
m 


虚拟 网 络 层 包 括 庶 拟 网 络 适配器 和 虚拟 交换 机 。 虚 拟 交 换 机 是 在 vSphere 中 的 关键 网 络 组 件 。 我 们 还 充分 利用 
DvPortGroups 功 能 ， 并 为 MAPI 和 使 用 VLAN101 的 公共 VM 流量 创建 新 口 组 。 除 了 Exchange 需 要 的 网 络 ，Virtual SAN 最 好 有 
一 个 独立 的 集群 管理 网 络 。 具 体 信息 请 参阅 《VMware Virtual SAN Network Design Guide》。 


注 : 本 示例 不 反映 设计 要 求 ， 并 且 没 有 肖 关 所 有 可 能 的 Exchange 网 络 设计 方案 。 
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图 10-42 Exchange DAG 的 虚拟 网 络 配 置 


10.6 AS) 


Virtual SAN 是 一 种 低 成 本 、 高 性 能 的 人 存储 平台 ， 其 可 以 快速 部 署 、 易 于 管理 ， 并 充分 融入 业界 领先 的 VMware vSphere 
Cloud Suite, 


该 解决 方案 验证 了 Virtual SAN 作 为 存储 平台 能 够 支持 扩展 性 和 高 性 能 的 Microsoft Exchange DAG 集 群 。 
Virtual SAN 的 易 用 性 使 得 Exchange 管 理 员 可 以 通过 一 个 单一 的 管理 界面 来 部 署 和 管理 日 常 业务 操作 。 


vSphere Data Protection 能 够 与 vCenter 和 Microsoft Exchange 集 成 ， 成 为 简单 而 强大 的 备份 和 恢复 解决 方案 。Site 
Recovery Manager 提 供 了 内 置 于 vCenter 并 目 动 运行 的 灾难 恢复 计划 ， 可 以 在 停电 前 、 计 划 维 护 和 定期 灾 备 时 使 用 。 使 用 Site 
Recovery Manager 和 vSphere Data Protection 提 供 了 弹性 与 高 可 用 性 的 Microsoft Exchange Server2013 环 境 。 


第 11 草 基于 VMware 混 合 人 各 构 Virtual SAN 的 SQL Server 最 佳 实践 


微软 SQL Server 是 微软 功能 强大 的 关系 型 数据 库 引 擎 ， 同 时 支持 数据 仓库 和 数据 分 析 功 能 。SQL server 每 个 版 本 都 添加 了 
功能 增强 。SQL Server2014 建 立 在 前 期 版 本 提供 的 关键 任 务 性 能 的 基础 上 ， 为 用 尸 的 天 键 任务 应 用 程序 提供 突破 性 的 性 能 、F 
用 性 和 可 管理 性 。SQL Server2014 为 联机 事务 处 理 (OLTP) 和 数据 仓库 提供 内 置 到 核心 数据 库 中 的 新 的 内 存 中 功能 ， 它 面向 市 
场 上 的 大 多 数 综合 性 内 人 存 中 数据 库 解决 方案 ， 并 对 现 有 内 人 存 中 数据 仓库 和 Bl 功能 加 以 补充 。 


SQL Server2014 还 通过 Windows Azure 提 供 了 新 的 灾难 恢复 、 备 份 和 混合 体系 结构 解决 方案 ， 使 用 户 能 够 将 其 现 有 技能 
于 本 地 功能 ， 并 能 有 效 利 用 Microsoft 的 全 球 数据 中 心 进 行 数据 库 管 理 。 源 于 SQL Server2012 的 数据 库 高 可 用 组 (AlwaysOn 
Availability Groups) 提供 了 本 地 存储 并 可 达 多 份 在 线 数据 库 拷贝 的 解决 方案 ， 是 数据 库 级 别 的 高 效 灾 备 方案 。SQL 
Server2014 对 该 扩 术 进行 了 增强 ， 可 以 文 持 多 达 8 份 数据 库 搁 贝 。SQL server2014 还 又 持 内 存 OLTP 数 据 库 。 该 特性 能 将 用 户 表 
存储 于 内 人 存 ， 通 过 无 锁 访 问 方式 有 效 提升 OLTP 数 据 库 性 能 达 30 倍 以 上 。 


微软 在 SQL server 数 据 库 引擎 上 功能 不 断 增 强 ， 但 其 基本 的 设计 最 佳 实践 并 没有 改变 。 在 设计 3QL Server 应 用 系统 时 ， 需 


要 用 户 理解 数据 库 的 MO 模型 、CPU 使 用 等 诸多 因素 。 对 数据 库 以 及 系统 管理 员 而 言 ， 有 效 部 署 微 软 SQL Server 数 据 库 存储 解决 
方案 极为 天 键 。 随 着 越 来 越 多 产品 服务 的 虚拟 化 ， 基 于 x86 服 务 器 存储 的 高 融合 解决 方案 需求 越 加 急需 。VMware 针 对 该 需求 ， 
推出 Virtual SAN， 通 过 使 用 直接 挂 载 于 VMware ESXIi 主 机 的 成 本 可 控 的 硬件 来 提供 大 规模 、 高 可 用 、 高 稳定 以 及 高 性 能 的 存 
fa. Virtual SAN 使 用 基于 存储 策略 的 管理 规范 ， 其 通过 自动 化 简化 了 企业 存储 系统 中 配置 存储 的 复杂 管理 流程 。 同 时 ，Virtual 
SAN 提 供 一 系列 系统 健康 检查 ， 监 控 工 具 能 有 效 进行 系统 监测 和 业务 分 析 ， 为 数据 库 以 及 系统 管理 员 市 来 了 高 效 管理 手段 。 


11.1 ”业务 案例 


1.733895 


本 方案 用 于 解决 CIO (首席 信息 官 ) 们 如 今 常 见 的 在 线 交 易 处 理 挑战 一 需要 高 可 靠 性 、 高 稳定 性 、 可 拓展 性 、 可 预见 性 以 及 
高 性 价 比 存储 。 本 方案 帮助 客户 在 Virtual SAN 上 设计 和 部 署 遵 循 最 佳 实践 的 微软 SQL Server, HAWN AUSF Baz 
构 Virtual SAN, 


2. 重 要 结论 
重点 验证 Virtual SAN 适 用 于 Microsoft SQL Server 的 企业 级 存储 解决 方案 : 


性 能 可 预见 的 基于 Virtual SAN 的 高 可 用 SQL Server OLTP 应 用 系统 
- 简化 存储 管理 ， 消 除 传 统 SAN 的 操作 与 维护 复杂 性 

> 提供 针对 企业 级 数据 库 管理 系统 的 可 持续 应 用 平台 

降低 部 看 与 操作 风险 的 验证 架构 


: 通过 集成 技术 提供 高 可 用 性 、 业 务 连续 性 和 灾难 恢复 


11.2 NERA 


本 万 主 要 介绍 在 本 次 解决 方案 中 使 用 到 的 技术 ， 除 了 在 最 佳 实 践 开 头 询 出 的 VMware 近 术 外 ， 还 使 用 到 以 下 第 三 方 技术 : 
- Microsoft SQL Server2014 
- Microsoft SQL Servet 高 可 用 数据 库 组 (AlwaysOn Availability Groups) 

1.Microsoft SQL Server2014 

本 方案 摘 绘 了 部 分 SQL server2014 和 AlwaysOn 的 最 新 备份 特性 (特别 是 AlwaysOn 高 可 用 数据 库 组 ) 。 


AlwaysOn 蜗 可 用 数据 库 组 是 SQL Server 的 最 新 综合 局 可 用 与 灾 备 解决 方案 。AlwaysOn 为 具体 数据 库 和 整个 实例 提供 新 的 
增强 能 力 ， 其 提供 灵活 性 以 支持 各 种 高 可 用 性 配置 ; 


: AlwaysOn 故 障 转 移 集 群 实例 


- AlwaysOn 可 用 性 组 
SQL Server2014 的 AlwaysOn 高 可 用 数据 库 组 重要 特性 主要 有 : 
` 次 要 副本 的 最 大 数量 可 达 8 个 
当主 副本 断 开 连接 或 在 此 期 间 集群 仲裁 丢失 时 ， 可 读 的 次 要 副本 可 以 维持 读 负载 的 可 用 性 
这 些 特性 给 生产 环境 的 SQL server 市 来 了 更 大 弹性 ， 即 单 点 故障 不 会 影响 应 用 系统 的 业务 连续 性 。 


本 方案 探索 了 AlwaysOn 高 可 用 数据 库 组 ， 主 要 关注 基于 OLTP 在 线 交 易 系 统 的 备份 特性 以 支持 行业 标准 类 TPC-E 工 作 负 


2.AlwaysOn 高 可 用 数据 库 组 


AlwaysOn 蜗 可 用 数据 库 组 是 SQL server20125| 入 的 数据 库 级 别 的 高 可 用 性 与 灾 备 解决 方案 ， 其 使 管理 员 可 以 最 大 化 用 户 
数据 库 的 可 用 性 。SQL server 集 群 实例 构建 于 Windows 服 务 器 故障 转移 集群 结 点 (WSFC) 之 上 ， 配 置 为 单个 主 数据 库 ， 以 及 
一 个 或 者 最 多 8 个 次 要 副本 。 


可 用 性 副本 与 角色 


高 可 用 数据 库 组 由 一 组 两 个 或 两 个 以 上 可 用 性 副本 组 成 。 每 个 可 用 性 副本 存在 于 一 个 单独 的 SQL Server 实 例 中 ， 该 实例 需 
要 构建 于 独立 的 WSFC 集 群 结 点 中 。 每 个 SQL Server 实 例 同 时 也 是 SQL Server 故 障 转移 集群 实例 ， 或 者 称 为 AlwaysOn 高 可 用 数 
据 库 组 启用 的 单独 实例 ， 如 图 11-1 所 示 。 


SQL Node 1 SQL Node 2 
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Replica 





图 11-1 SQL Server AlwaysOn 可 用 性 组 


每 个 高 可 用 数据 库 组 都 拥有 可 用 性 数据 库 副 本 ， 每 个 可 用 性 副本 都 分 配 了 初始 角色 (主要 或 次 要 ) : 
“ 主 副本 


只 能 有 一 个 主要 角色 ， 主 副本 与 主 数据 库 类 似 ， 为 可 读 写 的 数据 库 。 


同时 可 以 拥有 最 多 8 个 副本 ， 每 个 副本 都 拥有 次 要 角色 ， 并 能 配置 为 只 读数 据 库 。 每 个 次 要 副本 都 可 以 在 主 副本 故障 时 转化 
成 主 副 本 。AlwaysOn 高 可 用 数据 库 组 支持 以 下 两 种 数据 库 提交 模式 ,: 


异步 提交 模式 


在 异步 提交 模式 下 ， 主 副本 提交 交易 不 需要 来 自 次 要 副本 的 确认 。 异 步 提交 模式 最 小 化 了 交易 延迟 ， 人 允许 次 要 数据 库 落 后 于 
主要 数据 库 ， 缺 点 是 可 能 会 导致 数据 丢失 。 


同步 提交 模式 


在 同步 提交 模式 下 ， 主 副本 提交 交易 需要 等 待 来 目次 要 副本 的 确认 。 同 步 提交 模式 虽然 增加 了 交易 延迟 ， 但 防止 了 数据 丢 
失 。 如 果 次 要 数据 库 与 首要 数据 库 均 在 同 步 状 态 下 ， 那 么 提交 的 交易 融会 家 充分 保护 。 


SQL Server AlwaysOn 可 用 性 组 的 同步 提交 模式 将 服务 的 可 用 性 强调 于 性 能 之 上 。 同 步 提交 模式 确保 在 主 服 务 器 或 主 副本 
中 的 交易 在 其 收 到 来 目镜 像 或 次 要 副本 的 反馈 信息 前 不 会 被 提 区 。 在 这 种 情况 下 会 增加 交易 延迟 ， 特 别 是 当 服 务 器 在 不 同 的 地 理 
位 置 时 。 


11.3 ”万 案 配 置 


本 节 将 介绍 使 用 到 的 软 硬 件 资 源 及 解决 方案 配置 ， 主 要 包括 : 
- 架构 图 
` 硬件 资源 
-软件 资源 
. 网 络 配置 
: ESXi 存 储 控 制 器 模式 
- Virtual SAN 配 置 
- SQL Server ft 拟 机 配置 


: SQL Servet 高 可 用 数据 库 组 配置 
11.3.1 ”架构 图 


基于 SQL Server 的 Virtual SAN 集 群 (混合 架构 ) 方案 中 基于 本 地 Virtual SAN 集 群 的 数据 存放 方式 和 基于 Virtual SAN 延 伸 


集群 的 数据 存放 万 式 解 释 如 下 : 


Virtual SAN 集 群 : 在 默认 没有 定义 故障 域 的 情况 下 ， 每 个 节点 都 是 一 个 故障 域 ， 这 意味 着 虚拟 机 的 每 个 组 件 都 可 以 安置 在 
Virtual SAN 集 群 的 任意 节点 中 。 基 于 本 地 Virtual SAN 集 群 的 数据 存放 方式 如 图 11-2 所 示 。SQL Server 虚 拟 机 的 虚拟 磁盘 组 件 
可 以 被 分 配 到 四 个 节点 。 有 多 种 方法 可 以 将 组 件 放 置 在 不 同 主机 的 磁盘 中 。 通 过 设置 SPBM 的 Virtual SAN FTT 值 ， 可 以 设置 不 
同 的 副本 数 ， 每 个 副本 可 以 有 多 个 条 带 。 图 11-2 所 示 为 虚拟 机 在 默认 存储 策略 (FTT = 1， 条 带宽 度 = 1) 下 拥有 两 块 虚拟 磁盘 
时 ， 虚 拟 机 实际 上 拥有 四 个 副本 组 件 (DATA1 和 DATA1”，DATA2 和 DATA2” ) 和 两 个 见证 。 


Virtual disk 1 Virtual disk 2 








Virtual SAN Cluster 


图 11-2 Virtual SAN 集 群 中 虚拟 机 组 件 的 分 发 








Virtual SAN 延 伸 集群 : 在 四 个 节点 的 Virtual SAN 集 群 中 ， 每 个 站 点 都 有 两 个 节点 。 见 证 主机 是 一 台 虚 拟 机 。 如 图 11-3 所 
示 ， 我 们 定义 两 个 故障 域 并 在 见证 站 点 部 署 了 ESXi Server Appliance, SQL Server 虚 拟 机 的 虚拟 磁盘 组 件 被 分 配 到 两 个 故障 域 
， 见 证 组 件 放 置 在 见证 虚拟 机 中 。 根 据 SPBM，Virtual SAN 延 伸 集 群 的 存储 策略 中 FTT 应 为 1， 但 每 个 副本 可 以 拥有 多 个 条 
。 图 11-3 展 示 了 拥有 两 个 虚拟 磁盘 的 虚拟 机 案例 ， 每 块 VMDK 拥 有 两 个 副本 和 一 个 见证 。 在 Virtual SANER, PA gl 
本 组 件 (DATA1 和 DATA1”，DATA2 和 DATA2” ) 应 该 分 别 放 置 于 故障 域 A (站 点 A) 和 故障 域 B (站 点 B) ， 而 所 有 的 见证 都 
放置 于 故障 域 C (站 点 C) 。 


di H 


Virtual SANBIAS ab FSI eRe Ayres ATE, LACH REFERRER EV) RE 
故障 友 生 时 可 以 提供 持续 的 数据 存储 服务 。 当 SQL server 虚 拟 机 托管 数据 库 副 本 失败 时 ， 数 据 库 可 用 性 组 可 以 提供 数据 库 局 可 
用 (包括 逻辑 数据 库 损坏 ) ， 从 而 可 以 提供 从 数据 库 级 别 到 存储 级 别 的 高 可 用 方案 。 


Virtual disk 1 Virtual disk 2 





Witness 1 Witness 2 
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Virtual SAN Stretched Cluster | | om] 
Fault Domain A (site A) Fault Domain B (site B) Fault Domain C (site C) 
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图 11-4 所 示 为 Virtual SAN 集 群 的 逻辑 架构 。 在 该 架构 中 ， 四 人 台 SQL Server 虚 拟 机 部 署 在 四 节点 的 Virtual SAN 集 群 中 。 每 
台 虚 拟 机 都 可 以 在 四 台 ESXi 服 务 器 之 间 任 意 迁 移 。 出 于 平衡 计算 资源 利用 率 和 降低 资源 竞争 的 考虑 ， 建 议 将 Virtual SAN 集 群 中 
的 虚拟 机 安置 在 不 同 的 ESXi 主 机 上 。 每 台 SQL Server 虚 拟 机 托管 可 用 组 中 的 一 个 主 副本 和 一 个 次 要 副本 。 我 们 选择 “Node and 
File Share Majority” 作 为 Windows 集 群 仲裁 模式 ， 该 模式 符合 微软 推荐 部 署 偶数 个 结 点 的 最 佳 实践 。 
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图 11-5 所 示 为 Virtual SAN 延 伸 集群 的 逻辑 架构 。 在 该 以 构 中 ，4 台 SQL Server 虚 拟 机 部 署 在 4 节点 的 Virtual SANSE(REERE 
中 。 这 4 个 节点 在 地 理 位 置 上 两 两 分 布 ， 站 点 A 与 站 点 B 的 往返 网 络 延 时 最 大 值 小 于 5 毫秒 。Virtual SAN 集 群 的 见证 部 署 在 站 点 
C， 其 与 站 点 A 或 站 点 B 之 间 的 往返 网 络 延 迟 最 大 信 小 于 200 毫 秒 。 我 们 在 部 署 虚拟 机 时 不 考虑 站 点 因素 ,每 侣 SQL Server 虚 拟 机 
托管 可 用 组 中 的 一 个 主 副 本 和 一 个 次 要 副本 。Virtual SAN 确 保 每 个 AlwaysOn 副 本 的 元 余 虚 拟 磁盘 组 件 副本 可 以 分 配 到 两 个 站 
mop. 
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11.3.2 ”硬件 资源 


Virtual SAN 使 用 直 连 在 ESXi 主 机 上 的 SSD 和 HDD,， 每 台 ESXi 主 机 拥有 两 个 磁盘 组 ， 每 个 磁盘 组 由 一 块 SSD 和 6 块 HHD 组 
成 。 这 些 磁盘 组 合并 组 成 Virtual SAN 数 据 存储 。Virtual SAN 集 群 中 的 每 台 ESXi 主 机 配置 如 表 11-1 所 示 : 


表 11-1 ESXi 主 机 配置 


设 备 具体 参数 
CPU 双 路 ， 每 路 10 核 
RAM 256 GB 
网 卡 2*10Gb, 1*1Gb 
AT fifi Bc A 2*12Gbps SAS 3008 PCI-E 
磁盘 12*900 GB 10 000 转速 ，2*400 GB SATA SSD 


11.3.3 ”软件 资源 


表 11-2 中 列 出 了 方案 中 用 到 的 软件 。 


表 11-2 方案 中 用 到 的 软件 


wo TE: 
ESXi 集群 用 于 运行 虚拟 机 和 提供 Virtual 
VMware vCenter 以 及 ESXi 6.0 Ul SAN 集群 。VMware vCenter Server 提供 集 


中 化 的 平台 用 于 管理 VMware vSphere 环境 
基于 超 融 合 的 软件 定义 解决 方案 
VMware 应 用 备份 和 恢复 解决 方案 
VMware 灾难 和 恢复 解决 方案 
VMware 基于 虚拟 机 监管 程序 的 虚拟 机 

备份 解决 方案 

Microsoft SQL Server 2014 企业 版 ,RTM 数据 库 软 件 


SQL Server 数据 库 虚 拟 机 负载 生成 虚拟 
PL eh HE Hill 4S VMware vCenter server 

类 TPC-E 数据 生成 硕 以 及 工作 人 负载 测试 
客户 端 


VMware Virtual SAN 
vSphere Data Protection 


Site Recovery Manager 


vSphere Replication 


Windows Server 2012 2012 R2X 64 SPI, 企业 版 


Benchmark Factory 7T 


11.3.4 ”网络 配置 


VMware vSphere Distributed Switch 作为 独立 的 虚拟 交换 机 横 跨 集群 中 的 所 有 主机 。 通 过 配置 vSphere Distributed 
Switch， 虚 拟 机 在 多 人 台 主 机 之 间 迁 移 时 网 络 配置 可 以 保持 不 变 。 在 测试 环境 中 ， 每 台 主 机 都 配置 了 两 块 10Gbps 网 卡 用 于 
vSphere 分 布 式 交 换 机 。 


表 11-3 所 示 为 方案 中 vS9phere 分 布 式 交 换 机 的 闯 口 组 属性 设置 。 


表 11-3 ”方案 中 vSphete 分 布 式 交换 机 的 端口 组 属性 设置 





策略 : 安全 MAC 地 址 更 改 人 允许 
fcit 


Qua Promiscuous Mode: 混杂 模式 ， 可 以 监听 广播 包 。 


MAC Address Change: 检测 虚拟 机 MAC 是 否 与 虚拟 交换 机 分 配 的 MAC 相 同 。 如 果 配 置 为 REJECT， 虚 拟 机 交换 机 将 丢弃 不 符 
合 要 求 的 目的 MAC 为 虚拟 机 MAC 的 数据 包 。 


Forged Transmits: 检测 虚拟 机 MAC 是 否 与 虚拟 机 交换 机 分 配 的 MAC 相 同 。 如 果 配 置 为 REJECIT， 虚 拟 机 交换 机 将 丢弃 不 符合 
要 求 的 源 MAC 为 虚拟 机 MAC 的 数据 包 。 


在 本 方案 中 ， 由 于 延伸 集群 的 见证 是 一 人 台 虚 拟 ESXi 服 务 器 ， 因 此 为 了 确保 ESXi 虚 拟 机 的 vmnic 可 以 与 虚拟 交换 机 连通 ， 需 要 
将 混杂 模式 从 拒绝 改 成 允许 。 


vsSphere 分 布 式 交换 机 需要 局 用 网 络 1O 控 制 。 表 11-4 所 示 为 网 络 资源 分 配 中 的 共享 份额 设置 。 


表 11-4 网 络 资源 分 配 中 的 共享 份额 设置 


mesa "m 


vSphere 分 布 式 交 换 机 的 配置 如 图 11-6 所 示 : 
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图 11-6 ”vSphere 分 布 式 交换 机 的 配置 


端口 组 定义 网 络 配置 中 有 关 安 全 、 流 量 控制 、NIC 队 列 的 属性 。 除 了 上 行 链 路 故障 切换 的 顺序 如 表 11-5 所 示 外 ， 其 余 均 采用 
默认 端口 组 设置 。 表 中 也 列 出 了 为 不 同 功能 而 创建 的 分 布 式 交 换 痊 口 组 与 各 目的 活动 及 备用 上 行 链 路 ， 以 此 在 各 个 可 用 上 行 链 路 
之 间 平 衡 流量 。 


表 11-5 ”分布 式 交换 端口 组 


分 布 式 交换 端口 组 名 称 VLAN 备用 上 行 链 路 
AlwaysOn fll SQL 虚拟 机 网 络 流量 103 Uplink2 
vSphere vMotion |^ an [| — Uplink Uplink2 
Virtual SAN (site A) 102 Uplinkl 
Virtual SAN (site B) 104 Uplinkl 
Virtual SAN (site C) 105 Uplinkl 


11.3.5 ”ESXi 和 存储 控制 器 模式 


存储 控制 器 同时 支持 直通 模式 和 RAID 模 式 。 在 测试 中 ， 推 荐 首选 直通 模式 作为 存储 控制 器 模式 ， 这 样 Virtual SAN 可 以 完全 
控制 连接 到 存储 控制 器 的 本 地 SSD 和 HDD。 


11.3.6 Virtual SANAE 


Virtual SAN 配 置 包 括 基 于 SQL Server 的 Virtual SAN 集 群 设计 、Virtual SAN 延 伸 集 群 的 安装 与 配置 以 及 SQL Server 虚 拟 机 
的 存储 设计 一 例如 存储 策略 ， 应 用 于 Virtual SAN 延 伸 集 群 的 虚拟 机 配置 ， 等 等 。 


基于 SQL Server2014 的 Virtual SAN 存 储 策略 
Virtual SAN 需 要 针对 每 人 台 虚 拟 机 设置 可 用 性 、 容 量 以 及 性 能 策略 。 我 们 设计 和 部 署 的 存储 策略 如 表 11-6 所 示 : 
表 11-6 ”基于 SQL Server2014 的 Virtual SAN GAR KB 
存储 性 能 设 E 
允许 的 故障 数 (FTT) | 
每 个 对 象 的 磁盘 带 数 | 
闪存 读 取 缓存 预 留 0% 
对 象 空间 预 留 100% 


在 方案 中 ， 建 议 将 每 个 对 象 的 磁盘 条 市 数 设置 为 1。 默 认 情况 下 ， 创 建 在 Virtual SAN 中 的 虚拟 机 都 采用 精简 配置 。 在 写 入 
数据 之 前 不 会 消耗 任何 空间 。 为 确保 获得 最 优 性 能 ， 建 议 将 对 象 空间 预 留 设 置 为 100%。 


11.3.7 SQL Server 虚 拟 机 配置 


在 测试 中 ， 我 们 配置 了 4 台 SQL Server 虚 拟 机 ， 将 其 分 为 两 个 局 可 用 数据 库 进 行 性 能 测试 。 表 11-7 列 出 了 SQL Server2014 
虚拟 机 的 配置 。 这 些 虚 拟 机 共享 相同 的 Virtual SAN 数 据 仓储 ， 这 有 利于 : 


: vSphere vVMotion 在 主机 间 提 供应 用 灵活 性 与 可 用 性 。 
. 基于 存储 策略 的 管理 使 存储 的 管理 与 配置 相 比 传统 SAN 存 储 的 方案 更 加 简化 。 


数据 库 通 过 Benchmark Factory 创 建 ， 规 模 分 别 为 18 和 35 (分 别 代表 数据 和 率 引 将 会 消耗 180CB 和 350GB 空 间 ) 。 我 们 为 
每 台 虚 拟 机 分 别 配置 了 12 个 vCPU 和 16 个 vCPU 用 于 180GB 和 350GB 的 数据 库 虚 拟 机 。 次 要 副本 数据 库 的 虚拟 机 与 主 副本 的 虚拟 
机 配置 相同 。 每 个 SQL Server 实 例 配 备 了 最 大 120GB 的 服务 器 内 存 并 且 在 SQL Server 实 例 中 开局 了 和 内存 页 面 锁定 ， 剩 余 的 8GB 
内 存 用 于 操作 系统 和 运行 在 主 副 本 SQL Server 虚 拟 机 的 测试 客户 端 。 


表 11-7 SQL Server2014 虚 拟 机 设置 


SQL me TIT 


VM1—180 GB 主 副 本 数据 库 12 128 Windows Server 2012 64- 位 数据 中 心 版 
VM2—180 GB 次 要 副本 数据 库 12 128 Windows Server 2012 64- 位 数据 中 心 版 


VM3—350 GB 主 副 本 数据 库 16 128 Windows Server 2012 64- 位 数据 中 心 版 


VM4—350 GB 次 要 副本 数据 库 128 Windows Server 2012 64- 位 数据 中 心 版 


数据 库 虚拟 机 与 磁盘 布局 


为 了 对 数据 库 进行 类 TPC-E 工 作 负 载 测 试 ， 数 据 库 大 小 基于 真实 的 磁盘 空间 需求 ， 剩 余 的 额外 空间 用 于 数据 库 增 长 。 根 据 设 
tr ( 详 见 SQL Server 高 可 用 组 配置 )， 一 从 虚拟 机 上 运行 主 副 本 数据 库 ， 而 另 一 台 虚 拟 机 运行 次 要 副本 数据 库 。 为 了 缓解 SQL 
Server 文 件 读 写 竞争 ， 并 降低 管理 复杂 性 ， 建 议 创建 多 个 虚拟 磁盘 用 于 存储 数据 文件 。 其 中 ， 运 行 180GB 数 据 库 的 虚拟 机 配置 了 
一 块 系统 盘 ， 四 块 数据 库 文件 盘 ， 一 块 5SQL 日 志 盘 ， 一 块 页 面 文 件 盘 以 及 两 块 数据 库 临 时 文件 盘 。 运 行 350GB 数 据 库 的 虚拟 机 本 
备 了 六 块 数据 库 文 件 盘 ， 其 他 配置 与 180GB 数 据 库 的 虚拟 机 相同 。 运 行 次 要 副本 的 虚拟 机 (VM2 和 VM4) 和 运行 主 副本 的 虚拟 
机 配置 相同 。 表 11-8 列 出 了 四 台 虚 拟 机 的 具体 磁盘 配置 。 数 据 盘 、 日 志 盘 和 临时 数据 文件 盘 使 用 不 同 的 VMware Paravirtual 
SCSI (PVSCSI) 控制 器 。 


表 11-8 虚拟 机 虚拟 磁盘 布局 


VM1/VM?2 磁盘 设计 


SCSI # till 2 














40 GB Windows 系统 盘 LSI Logic SAS 

100 GB 数据 库 文件 盘 PVSCSI Controller | 
100 GB BG Fe XC T PVSCSI Controller | 
100 GB 数据 库 文 件 盘 PVSCSI Controller 1 
100 GB 20 s Fe XC T PVSCSI Controller | 
125 GB PVSCSI Controller 2 
160 GB 页 面 文件 盘 LSI Logic SAS 

80 GB 临时 数据 文件 盘 PVSCSI Controller 3 
250 GB 临时 日 志文 件 盘 PVSCSI Controller 2 

VM3/VM4 磁盘 设计 SCSI 控制 器 

40 GB Windows 系统 盘 LSI Logic SAS 

100 GB PVSCSI Controller 
100 GB 数据 库 文 件 盘 PVSCSI Controller 1 
100 GB 数据 库 文件 盘 PVSCSI Controller 1 
100 GB 数据 库 文 件 盘 PVSCSI Controller 2 
100 GB 数据 库 文件 盘 PVSCSI Controller 2 
100 GB 数据 库 文 件 盘 PVSCSI Controller 2 
125 GB SQL HEA PVSCSI Controller 2 
160 GB 页 面 文件 盘 LSI Logic SAS 

80 GB PVSCSI Controller 3 
250 GB I A as C PE SE PVSCSI Controller 2 





11.3.8 SQL server 高 可 用 数据 库 组 配置 


本 节 概 述 了 在 3 台 SQL Server 实 例 上 部 署 AlwaysOn 高 可 用 数据 库 组 的 细节 。3 台 SQL Server 实 例 在 同一 个 Virtual SAN 数 据 
人 存储 中 。 


1.Windows Server 故 障 转移 集群 设置 


为 了 创建 SQL Server2014 可 用 性 组 ， 方 案 在 Windows Server2012 采 用 多 节点 和 文件 共享 仲裁 模式 的 集群 上 配置 了 2x 2 节 
点 的 Windows 集 群 。 


2.Windows Server 故 障 转 移 集 群 仲裁 和 Virtual SAN 见 证 的 区 别 


WSFC 使 用 基于 仲裁 的 方法 来 监控 Windows 和 集群 节点 的 状态 。 为 避免 主机 故障 ，Windows 和 集群 通过 投票 决定 Windows 和 集群 
服务 能 否 继续 工作 。 当 磁盘 对 象 发 生 故 障 时 ，Virtual SAN 中 的 见证 提供 集群 仲裁 服务 。 


3.Windows Server 故 障 转移 集群 仲裁 模式 和 投票 配置 


SQL Server AlwaysOn 高 可 用 数据 库 组 充分 利用 了 Windows Server 的 故障 转移 集群 技术 。Windows Server 故 障 转移 集群 
通过 基于 仲裁 的 方法 来 监控 集群 中 所 有 的 健康 状态 ， 提 供 节点 级 别 的 最 大 错 容 能 力 。 在 大 多 数 情 况 下 ， 推 荐 将 每 个 集群 中 的 节点 


和 文件 共享 设置 为 偶数 个 以 便 仲裁 配置 。 更 多 信息 可 以 参考 Understanding Quorum Configurations in a Failover Cluster yz 
档 。 


4 .高 可 用 数据 库 组 配置 
方案 中 设计 了 两 个 高 可 用 数据 库 组 ，4 人 台 虚 拟 机 通过 完全 使 用 虚拟 机 计算 资源 来 支持 两 个 数据 库 组 : 
: 将 180GB 的 数据 库 副本 放置 在 拥有 12 个 vCPU 和 128GB 内 存 的 虚拟 机 上 。 
: 将 350GB 的 数据 库 副本 放置 在 拥有 16 个 vCPU 和 128GB 内 存 的 虚拟 机 上 。 
个 数据 库 组 使 用 同步 模式 部 署 可 用 性 组 ， 以 确保 用 户 数据 库 的 高 可 用 性 。 


每 个 数据 库 组 都 配置 有 数据 库 监 听 。 高 可 用 数据 库 组 数据 库 可 以 通过 监听 客户 疹 监 听 连 接 。 监 听 也 用 作 AlwaysOn 可 用 性 组 
的 VMware Data Protection 备 份 。 更 多 关于 可 用 性 组 的 细节 信息 ， 可 以 查看 微软 的 官方 文档 《Availability Group 
Listeners, Client Connectivity, and Application Failover (SQL Server) 》。 更 多 关于 vSphere Data Protection 备 份 细 
节 ， 请 查看 11.4.8 节 。 


11.4 75383 UE 


SQL server 是 一 个 MO 密集 型 数据 库 管 理 系统 ， 数 据 库 容量 通 弟 大 于 配置 的 内 存 总 量 。 因 此 ，3QL server 必 须 从 磁盘 上 读 取 


数据 以 满足 查询 需求 。 此 外 ， 在 通常 的 OLTP 工 作 负 载 下 ， 数 据 库 中 的 数据 在 持续 改变 。 这 些 操作 需要 写 入 磁盘 ， 同 步 到 数据 文 
件 和 日 志文 件 中 。 


性 能 是 SQL Server 部 署 中 至 天 重要 的 一 部 分 ， 需 要 系统 管理 员 企 设计 系统 时 确保 不 仔 在 MO“ 瓶 项 ”。 本 方案 验证 了 Virtual 
SAN 在 运行 OLTP 工 作 负 载 遇 到 硬件 故障 时 的 存储 弹性 能 


对 于 生产 环境 的 SQL Server OLTP 数 据 库 来 讲 ， 备 份 与 恢复 ， 灾 难 与 恢复 是 最 高 要 求 。 方 案 采 用 vSphere Data Protection 


和 带 有 vSphere Replication 的 Site Recovery Manager 来 满足 这 些 要 求 。 


11.4.1. Wi ERA 


本 方案 在 虚拟 化 的 VMware 环境 中 运行 带 有 AlwaysOn 特 性 的 SQL Server2014， 以 此 验证 Virtual SAN 存 储 平 台 的 性 能 。 测 
试 场景 包括 : 


- f£ Virtud SAN 上 基于 OLTP 工 作 负 荷 的 不 同 数据 库 大 小 的 性 能 

: 在 硬件 故障 场景 下 Vittual SAN 的 弹性 应 对 硬件 故障 (包括 单 块 HDD 故 障 ， 磁 盘 组 故障 ， 存 储 节 点 故障 ) 。 
: 在 Virtual SAN 延 伸 集 群 中 部 署 高 可 用 性 业务 。 

- Virtual SAN 延 伸 集 群 的 灾难 恢复 和 站 点 恢复 。 


通过 vSphere Data Protection 在 Virtual SAN 上 备份 和 恢复 SQL Servers 


11.4.2 类 TPC-E OLTP 工 作 负 载 


类 TPC-E OLTP 是 一 种 OLTP 工 作 负 载 。 其 通过 混合 只 读 操作 和 密集 更 新 交易 操作 模拟 在 复杂 OLTP 应 用 环境 下 的 活动 。 测 试 
通过 设计 数据 库 染 构 、 数 据 吕 量 、 交 易 和 部 署 原则 来 呈现 现代 OLTP 系 统 的 业务 需求 。 


类 TPC-E 的 |/O 访 问 为 密集 读 取 ， 其 工作 负载 为 8K 的 随机 I/O， 使 用 SSD 应 对 此 类 工作 负载 非常 有 优势 。 
Virtual SAN 中 的 读 取 缓存 


读 取 缓存 只 用 于 混合 架构 Virtual SAN 人 集群， 在 混合 架构 Virtual SAN 集 群 中 每 个 磁盘 组 由 一 块 SSD 和 一 块 或 多 块 HDD 组 
成 。Virtual SAN 使 用 SSD 作 为 每 个 磁盘 组 的 性 能 层 ， 使 用 HDD 作 为 每 个 磁盘 组 的 容量 层 。SSD 部 分 用 于 相应 磁盘 组 的 读 操作 ， 
其 目的 在 于 尽 可 能 提高 从 数据 层 完成 读 取 操作 的 可 能 性 ， 降 低 直 接 从 HDD 进 行 读 操作 的 概率 。 如 果 所 需 的 块 多 数 由 Virtual SAN 
缓存 命中 ， 混 合 架 构 Virtual SAN 会 是 成 本 效益 最 佳 的 解决 方案 。 但 是 ， 如 果 读 取 模 型 命中 Virtual SAN 缓 存 太 随机 ， 则 应 该 考虑 
使 用 全 闪存 Virtual SAN, Virtual SAN 和 存储 的 性 能 依赖 于 多 种 设计 因素 ， 我 们 将 在 “在 Virtual SAN 上 虚拟 化 SQL Server 的 最 佳 
实践 ”这 一 节 做 详细 阐述 。 


11.4.3 38TPC-E OLTP 验 证 工具 


在 方案 中 ， 我 们 使 用 OLTP 工 作 负 载 模拟 工具 来 运行 测试 。 在 运行 测试 时 ， 开 局 Virtual SAN Observer 和 每 台 虚 拟 机 上 的 
Windows 性 能 监控 器 来 监控 性 能 状态 。 


1.Benchmark Factory 


Benchmark Factory for Databases 是 一 款 数 据 库 性 能 测试 工具 ， 该 工具 使 用 户 可 以 进行 行业 标准 数据 库 性 能 测试 和 可 扩 
展 性 测试 。 表 11-9 列 出 了 通过 Benchmark Factory 生 成 的 监控 参数 。 


表 11-9 Benchmark Factory 生 成 的 监控 参数 


监控 参数 M 
平均 啊 应 时 间 从 SQL 发 出 到 接收 啊 应 所 消耗 的 时 间 
每 秒 交 易 数 (TPS) 测量 用 户 数据 库 中 的 交易 ， 其 理想 值 对 于 设计 的 SQL Server 应 尽 可 能 大 


2.Windows 性 能 监控 器 


性 能 监控 器 是 在 Windows 平 台中 抓 取 SQL server、 内 存 利用 率 、1/O 吞 吐 量 等 数据 的 Windows 工 具 。 该 工具 有 一 系列 关于 
物理 磁盘 和 你 辑 磁盘 的 |/O 参 数 。 表 11-10 列 出 了 用 于 测量 数据 库 性 能 的 性 能 监控 参数 。 


表 11-10 ”用 于 测量 数据 库 性 能 的 性 能 监控 参数 


平均 磁盘 谈 / SED AA EIRE E 用 于 测量 磁盘 的 谈 写 延迟 。 微 软 建议 的 OLTP 最 优 平 均值 是 小 于 等 于 20 

ee AA m. X. | sey “de Ad m. Yl -二 十。 a LE TE a d P> 24 oo 1 a tt ^ Ath s shi - ^ PP “fy ^ ee PE 

E / mR GE. AKRA IER EME Poe a PY, FESS EY TAE AR P E A 
-可 / É 一 ^ M p’ wr. SYA, Ge 
延迟 也 是 可 以 接受 的 

每 秒 磁盘 传输 用 于 测量 每 秒 的 UO 数量， 其 理想 值 对 于 被 测试 的 UO 子 系 统 应 尽 可 能 大 


3.Virtual SAN Observer 


Virtual SAN Observer 用 于 抓 取 VMware Virtual SAN 集 群 的 性 能 数据 和 带宽 ， 通 过 使 用 Virtual SAN Observer ， 能 够 深入 
获取 Virtual SAN 不 同 层 的 |OPS、 带 宽 和 延迟 数据 ， 包 括 读 绥 存 命中 率 、 未 命中 率 、Outstanding IMMO 和 拥堵 。 这 些 信 息 处 于 


Virtual SAN 枝 的 不 同 层 ， 可 以 帮助 分 析 解 决 仓储 性 能 问题 。 


11.4.4 基于 Virtual SAN OLTP 工 作 负 和 载 的 数据 库 性 能 


在 验证 场景 中 ， 数 据 库 通过 Benchmark Factory 创 建 ， 配 置 规 模 分 别 为 18 和 35 (分 别 会 创建 180GB 和 350GB 的 数据 库 ) 。 
采用 同步 模式 创建 两 个 AlwaysOn 高 可 用 数据 库 组 ， 对 数据 库 的 虚拟 机 配置 相同 大 小 的 数据 盘 、 日 志 盘 和 | 临时 虚拟 磁盘 。 
1. 测 试 场景 


本 方案 在 虚拟 化 的 VMware 环境 中 运行 带 有 AlwaysOn 特 性 的 SQL Server2014， 以 此 验证 Virtual SAN 存 储 平 台 的 性 能 。 测 
试 中 让 100 个 用 户 同 时 访问 数据 库 ， 在 系统 中 产生 可 接受 的 工作 负载 。 每 个 测试 会 持续 运行 2 小 时 ， 前 一 个 小 时 为 测试 预 热 时 
间 ， 使 系统 达到 稳定 状态 ， 后 一 个 小 时 收集 统计 数据 。 





名 注意 测试 结果 与 虚拟 机 的 vCPU 和 内 存 相 关 ， 而 vCPU 和 内 存 性 能 又 取决 于 物理 主机 。 物 理 主机 性 能 越 强 ， 测 试 结果 越 


2. 测 试 结 


为 了 建立 性 能 基准 ,我 们 在 4 书 点 的 Virtual SAN 上 建立 AlwaysOn 高 可 用 数据 库 组 ， 并 在 主 副 本 数据 库 上 运行 OLTP 工 作 负 
载 。 每 个 虚拟 机 均 包含 一 个 SQL server 实 例 和 一 个 用 户 数据 库 。 调 整 Benchmark Factory 的 用 户 数 量 以 产生 盟 真 的 生产 工作 负 
载 ， 并 通过 TPS 和 平均 啊 应 时 间 测 量 性 能 。 我 们 运行 多 次 测试 ， 以 确保 测试 准确 。 如 图 11-7 所 示 ， 设 计 配 置 的 4 节 点 Virtual SAN 
集群 可 以 文 持 多 达 2654 的 TPS 和 小 于 等 于 25 宇 秒 的 平均 啊 应 时 间 。 
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图 11-7 Virtual SAN 性 能 测试 结果 一 TPS 与 平均 响应 时 间 


在 同步 提交 模式 下 ，AlwayOn 局 可 用 数据 库 组 在 提交 在 线 交 易 事务 前 ， 次 要 副本 的 SQL Server 实 例 需要 完成 日 志 固 化 ， 以 
保证 提交 的 交易 事务 完全 被 保护 。 这 种 保护 机 制 增加 了 在 线 交 易 延 迟 和 对 存储 的 额外 |/O。 结 果 表明 ，4 节 后 Virtual SAN 集 群 在 
同步 提交 模式 下 支持 的 首要 工作 负载 在 64751OPS 左 右 。 


图 11-8 所 示 为 Virtual SAN 中 Always On 的 IOPS 性 能 。 
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图 11-8 Virtual SAN 中 AlwaysOn 的 IOPS 性 能 


平均 虚拟 磁盘 延迟 用 于 测量 SQL server 质 层 仓储 系统 的 磁盘 延迟 。 微 软 建 议 平 均 交 易 日 志 的 读 写 平均 延迟 最 佳 值 为 2 富 秒 ， 
数据 库 数 据 文件 的 最 佳 值 小 于 20 窜 秒 。 验 证 中 测量 了 每 个 数据 虚拟 盘 和 日 志 虚 拟 盘 的 磁盘 延迟 ， 最 大 数据 磁盘 延迟 是 数据 磁盘 
延迟 的 最 大 值 。 测 试 结果 中 最 大 数据 磁盘 延迟 为 15 毫 秒 ， 平 均 交 易 日 志 磁 盘 写 入 延迟 为 2 毫秒。 这 些 值 都 是 运行 OLTP 工 作 负 载 
的 最 优 值 。 


图 11-9 所 示 为 虚拟 磁盘 延迟 。 
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图 11-9 ”虚拟 磁盘 延迟 


经 过 多 次 测试 ， 我 们 可 以 得 出 结论 : 4 节点 的 Virtual SAN 集 群 每 秒 可 以 又 持 2654 笔 类 TPC-E 人 交易， 平均 业务 响应 时 间 小 于 
25 曝 秒 ，AlwaysOn 数 据 库 高 可 用 性 组 可 以 接受 这 样 的 磁盘 延迟 。 结 果 证 实 Virtual SAN 可 以 作为 AlwaysOn 数 据 库 组 的 超 融 合 解 
决 方案 。 


11.4.5 Virtual SAN 弹性 应 对 硬件 故障 


本 节 主 要 验证 Virtual SAN 在 处 理 磁盘 、 磁 盘 组 和 主机 故障 时 的 弹性 特性 ， 也 测试 验证 了 运行 SQL Server OLTP 工 作 负 载 期 
间 ， 发 生 故 障 和 恢复 时 对 性 能 产生 的 影响 。 在 每 次 故障 测试 前 ， 我 们 都 会 使 用 Benchmark Factory 对 测试 环境 进行 初始 化 。 验 
证 设计 了 以 下 场景 用 于 模拟 真实 环境 下 会 遇 到 的 各 种 组 件 故 障 ， 包 括 : 


: 单个 HDD 磁 盘 故 障 : 该 测试 用 于 评估 单 盘 遇 到 故障 时 ， 虚 拟 化 SQL Servet 所 受到 的 影响 。 通 过 对 HDD 硬 盘 注 入 永久 磁 姐 


错误 来 模拟 磁盘 组 中 一 块 硬盘 出 现 故障 ， 并 观察 生产 环境 中 SQL Setvet 数 据 库 在 功能 或 性 能 上 是 否 会 受到 影响 。 


` 磁盘 组 故障 : 该 测试 用 于 评估 磁盘 组 遇 到 故障 时 ， 虚 拟 化 SQL Servet 所 受到 的 影响 。 通 过 对 磁盘 组 中 的 SSD 注 入 永久 磁盘 


错误 来 模拟 磁盘 组 故障 ， 并 观察 生产 环境 中 SQL Server 数 据 库 在 功能 或 性 能 上 是 否 会 受到 影响 。 


| 存储 主机 故障 : 该 测试 用 于 评估 Vittual SAN 中 一 台 主 机 遇 到 故障 时 ， 虚 拟 化 SQL Setvet 所 受到 的 影响 。 通 过 关闭 Vittual 
SAN 集 群 中 一 台 主 机 的 电源 来 模拟 主机 故障 ， 并 观察 生产 环境 中 SQL Servet 数 据 库 在 功能 或 性 能 上 是 否 会 受到 影响 。 


1. 测 试 场景 
(1) 单个 HDD 磁 盘 故 障 


本 测试 验证 了 在 遇 到 单 盘 故 障 时 Virtual SAN 的 弹性 ， 并 验证 在 单 盘 故 障 情况 下 对 OLTP 工 作 负 载 的 性 能 影响 。Benchmark 
Factory 创 建 了 一 个 大 小 为 180GB 的 数据 库 高 可 用 组 。 在 故障 测试 前 ， 可 用 性 组 的 状态 为 同步 提交 模式 。 


单 盘 故障 时 Virtual SAN 的 弹性 特性 


当 Benchmark Factory 在 可 用 性 组 的 180GB 主 副本 上 生成 工作 负载 时 ， 通 过 对 HDD 注 入 永久 磁盘 错误 来 模拟 Virtual SANA 
盘 故 障 。 表 11-11 列 出 了 故障 的 磁盘 ， 拥 有 10 个 组 件 用 于 存储 SQL Server 数 据 库 的 VMDK。 磁 盘 状 态 从 正常 变 为 降级 。 当 
Virtual SAN 检 测 到 磁盘 降级 时 ， 会 在 其 他 磁盘 上 重新 创建 丢失 的 组 件 。 这 一 操作 会 产生 组 件 再 同步 。 


表 11-11 故障 的 HDD 磁 盘 


故障 磁盘 的 NAA ID ESXI 主机 组 件数 量 总 容量 (GB) 容量 使 用 率 (%) 


(2) 磁盘 组 故障 


当 Benchmark Factory 在 可 用 性 组 的 180GB 主 副本 上 生成 工作 负载 时 ， 通 过 对 SSD 注 入 永久 磁盘 错误 来 模拟 Virtual SANT 
盘 组 故障 。SSD 故 障 会 导致 整个 磁盘 组 故障 。 表 11-12 列 出 了 故障 磁盘 组 中 所 有 的 SSD 和 HDD， 包 括 受 影响 的 用 于 存储 SQL 
Server 数 据 库 VMDK 的 组 件 总 数 。 


11-12 ”故障 的 虚拟 磁盘 组 一 物理 磁 衣 和 组 件 


故障 磁盘 NAA ID 磁盘 类 型 总 容量 (GB) | 容量 使 用 率 (%) 
naa.SXXXXXXXXXXX0db6 37.93 
naa.SXXXXXXXXXX X0a73 72.14 
naa. 5XXXXXXXXXXXeb3f HDD TI 29 
naa.SXXXXXXXXXXXd5d7 HDD 47.95 
naa.SXXXXXXXXXXX2ccb HDD 61.76 
naa.5XXXXXXXXXXX0a73 HDD 65.69 
naa.5X XX XX XXX XX Xabdb HDD | 8 P 89995 | 59.28 


(3) 存储 主机 故障 


我 们 通过 直接 关闭 ESXi 服 务 器 来 模拟 存储 主机 故障 ， 与 此 同时 Benchmark Factory 在 不 断 产 生 工 作 负载 。 该 测试 方案 用 于 
分 析 验 证 当 Virtual SAN 失 去 一 人 台 主 机 时 ， 避 免 SQL 虚 拟 机 中 断 会 受到 的 影响 。 


故障 的 存储 主机 拥有 两 个 磁盘 组 ， 受 影响 磁盘 组 如 表 11-13 所 示 : 


表 11-13 ”故障 ESXi 主 机 磁 诅 组 一 物理 磁盘 与 组 件 


2. 测 试 结果 


表 11-14 列 出 了 在 各 种 故障 情况 下 ， 运 行 应 用 受到 的 性 能 影响 。 疫 有 任何 测试 在 Windows 虚 拟 机 中 报告 IO 错误， 也 没有 断 
开 和 Benchmark Factory 客 尸 端 的 ODBC 和 连接 。 通 过 测试 结果 我 们 可 以 看 到 Virtual SAN 在 遇 到 组 件 故障 时 所 表现 出 的 民 好 弹 
TE. 


411-14 Virtual SAN 弹 性 测试 结果 


故障 类 型 故障 后 恢复 到 稳定 状态 所 消耗 的 时 间 ( 秒 ) 
磁盘 组 故障 (SSD-I-HDD) 115 
存储 主机 故障 350 


组 件 重 建 持续 时 间 


Virtual SAN 通 过 在 集群 中 的 另 一 块 盘 上 重建 故障 对 象 来 容 妨 磁盘 故障 。 有 两 种 故障 状态 : 失 联 (Absent) 和 降级 
(Degraded) 。 知 组 件 失 联 ，Virtual SAN 会 启动 一 个 默认 60 分 钟 的 计时 器 。 若 组 件 在 60 分 钟 内 恢复 ，Virtual SANSER 
本 。 若 组 件 没有 恢复 ，Virtual SAN 会 在 磁盘 上 重建 丢失 副本 。 若 组 件 降 级 ，Virtual SAN 会 立刻 重建 组 件 。 在 重建 过 程 中 ， 新 组 

件 以 重新 配置 状态 出 现在 另 一 台 主 机 上 。 


在 单 盘 故 障 测试 场 景 中 ， 我 们 测量 降级 组 件 的 重建 持续 时 间 。 这 些 组 件 包括 受 影响 9QL 庶 拟 机 的 虚拟 磁盘 (影响 SQL 虚拟 机 
的 容量 ) 和 其 他 虚拟 机 的 虚拟 磁盘 (影响 总 容量 ) 。 人 在 修复 期 间 ， 工 作 负 倚 持续 运行 ， 整 个 重建 持续 了 122 分 钟 ， 大 约 有 285GB 
的 数据 : 


- 故障 组 件 : 3X XEHDD 

- 运行 SQL 虚拟 机 受 影 响 的 容量 : 193GB 
| 受 影 响 总 容量 : 285GB 

` 受 影 响 总 容量 的 修复 时 间 : 122 分 钟 


每 分 钟 大 约 可 以 修复 2.3GB， 经 过 多 次 测试 ， 平 均 修复 时 间 在 每 分 钟 2~3GB。 





名 注意 Virtual SAN 为 了 最 小 化 重建 对 象 对 正常 工作 负载 的 影响 ， 抑 制 了 用 于 重建 的 存储 与 网 络 春 吐 量 。 


11.4.6 Virtual SAN 延 伸 集 群 性 能 及 弹性 


本 小 节 主 要 验证 Virtual SAN 延 伸 集 群 的 如 下 功能 与 性 能 : 
- Virtual SAN 延 促 集 群 设置 
- Virtual SAN 延 伸 集 群 在 不 同 网 络 延 这 下 的 性 能 


1.Virtual SAN 延 伸 集 群 设 置 


我 们 在 实验 环境 下 模拟 了 大 区 域 网 络 ， 图 11-10 展 示 了 设置 布局 图 ， 用 不 同 的 VLAN 设 置 了 3 个 站 点 。Linux 虚 拟 机 配置 了 3 个 
网 络 接口 ， 每 个 接口 分 别 作 为 VLAN 的 内 部 网 关 用 于 在 站 点 间 路 由 。 在 ESXi Virtual SAN VMkernel 新 口上 配置 静态 路 由 ， 以 此 
在 不 同 VLAN 之 间 路 由 。Linux 虚 拟 机 及 用 Netem 来 模拟 两 个 站 点 间 的 网 络 延迟 ， 通 过 XORP (开源 路 由 平台 ) 提供 两 个 Virtual 
SAN 故 障 域 间 的 组 播 流量 。 与 此 同时 ， 改 变数 据 站 点 间 的 网 络 延 迟 来 对 比 网 络 影响 。 从 见证 主机 到 数据 站 点 的 站 点 间 往 返 延 迟 
逢 固定 在 200 紧 秒 。 有 天 如 何 构建 模拟 延伸 集群 环境 的 具体 信息 详 见 3.7.3 节 。 


Fault Domain Link (<=Sms Latency) 
VLAN A 


Linux VM with 
Netem and XORP 


eth1 eth2 
VLAN A VLAN B 





Fault Domain 1 Fault Domain 2 


Fault Domain 3 


图 11-10 在 实验 环境 下 模拟 2 十 2 十 1 的 延伸 集群 
(1) YABARA 


使 用 Linux 内 建 的 Netem 来 模拟 两 个 可 用 性 组 之 间 的 网 络 延 迟 。 图 11-11 列 出 了 延伸 集群 改 障 域 的 配置 。 我 们 将 站 点 A 和 站 
所 B 之 间 的 内 部 站 点 往返 网 络 延 迟 分 别 设置 为 1 毫秒 、2 毫 秒 和 4 之 秒 。 站 点 A/B 与 站 点 C 的 内 部 站 点 往返 网 络 延迟 被 固定 在 200 毫 
秒 。 


Virtual SAN Cluster Fault Domains 


You can group Virtual SAN hosts that could potentially fail together by creating a fault domain and assigning one or more hosts 


to it. Failure of all hosts within a single fault domain is treated as one failure. If fault domains are specified, Virtual SAN will 
never put more than one replica of the same object in the same fault domain. 


一 了 三 


= Q Filter - 


Fault Domain/Host 


Hosts not in fault domain (0 hosts) 


+ Preferred (2 hosts) (Preferred fault domain for VSAN Stretched Cluster) 


B] 177.25 
[A 1177.96 


+ Secondary (2 hosts) 
日 1 177.97 
日 1 177.98 
» External witness host for VSAN Stretched Cluster 


日 1.177.224 





图 11-11 «= REA AREE CE 3,0 BO E 


如 图 11-11 所 示 ， 我 们 把 主 副本 和 次 要 副本 虚拟 机 分 别 放 入 故障 域 1 和 故障 域 2。 改 障 域 1 和 故障 域 2 乙 间 引 入 的 网 络 延迟 会 影 


响 AlwaysOn 日 志 在 两 个 故障 域 之 间 的 传输 。 


(2) 带 有 网 络 延 迟 的 Virtual SAN 延 伸 集群 


在 测试 期 间 ， 我 们 测量 了 在 Virtual SAN 延 伸 集 群 上 的 两 个 AlwaysOn 可 用 性 组 的 TPS 和 IOPS (180GB 和 350GB) 。 在 测试 


BJ, 
8l731.2z& f. 
WEUSBSHSGSECOU REE, &DÉIT1-129 5, Xj3- 1.258 8h. 


ESXi 主 机 的 Virtual SAN 内 核 端口 间 的 延迟 为 0.2 毫 秒 。 
2.2 毫 秒 和 4.2 毫 秒 。 随 着 内 部 站 点 延迟 的 增加 ，TPS 值 会 下 降 。 在 测试 工作 负载 下 ，TPS 值 随 着 内 部 站 点 往返 网 络 


内 部 链 路 网 络 延 迟 分 别 设置 为 1 毫秒 、2 毫 秒 和 4 毫秒 ， 实 际 测量 值 分 


2.2:8 9 P RLA.2:8 PRESS, TPST SUPER 576. 1976812976. [u] 


FÉ, fEVirtual SAN Observer 中 可 以 看 到 如 图 11-13 所 示 的 IOSP 下 降 。 可 以 看 到 随 着 内 部 站 点 延迟 的 增加 ，1O 和 网 络 延 迟 随 之 


增加 。 


Virtual SAN Cluster 





Stretched Cluster(1.2ms) Stretched Cluster(2.2ms) Stretched Cluster(4.2ms) 


11-12 ”TPS 对比 


ee 


Virtual SAN Cluster Stretched 
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(1.2ms) 


m Read IOPS 


B Write IOPS 
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Stretched Cluster 
(4.2ms) 


Stretched Cluster 
(2.2ms) 


Cluster 


E Total IOPS 


图 11-13  IOPS* rt 


(3) 站 点 故障 测试 概览 


本 测试 摘 述 了 Virtual SAN 延 伸 集 群 在 整个 站 点 故障 的 情况 下 如 何 维持 数据 可 用 。 


通过 在 内 部 链 路 横 跨 两 个 站 点 的 Virtual SAN 延 伸 集 群 上 测试 可 用 性 组 。 在 集群 上 启用 了 vSphere HA 和 vsphere DRS, 并 
在 180GB 的 AlwaysOn 可 用 性 组 上 生成 100 个 用 户 的 类 TPC-E 工 作 负载 。 当 测试 的 TPs 和 IOPSs 称 定时 ， 通 过 天 闭 站 点 A 中 ESXi 主 
机 的 电源 来 模拟 整个 站 点 故障 ， 如 图 11-14 所 示 。 


| Settings | Sched Tasks | Alarm Defin | Tag |p 9 18017795 
led Ta m itions s | Permissions 
| - | | li | Host connection and power state 


« Virtual SAN Cluster Fault Domains © 1mm 77.96 


v Services You can group Virtual SAN hosts that could potentially fail together by creating a fault domain and Host connecton and power state 


vSphere DRS assigning one or more hosts to it. Failure of all hosts within a single fault domain is treated as one failure. 


If fault domains are specified, Virtual SAN will never put more than one replica of the same object in the 
vSphere HA same fault domain. 


Da 9 e Q Filter 


Fault Domain/Host 


w Virtual SAN 


General 


Ux Management Hosts not in fault domain (0 hosts) 
+ Preferred (2 hosts) (Preferred fault domain for VSAN Stretched Cluster) 

Health @ 19MM 177.95 (Not Responding) 

v Configuration B 1 177.96 (Not Responding) 
General + Secondary (2 hosts) 
Licensing p iÓNGITT.97 
VMware EVC 民 1177.98 
VM/Host Groups v External witness host for VSAN Stretched Cluster 
VM/Host Rules G 1077.224 





图 11-14 Virtual SAN 延 伸 集 群 站 点 故障 
2. 测 试 结果 


在 站 点 故障 友 生 后 ， 站 点 A 中 的 SQL Server 虚 拟 机 受到 影响 。 受 影响 级 别 依 赖 于 同步 提交 模式 下 安放 在 受 影 响 站 点 中 的 可 用 
性 组 的 角色 。 


. 车主 副本 在 站 点 A， 可 用 性 组 故障 转移 在 1 秒 内 发 生 ， 原 来 的 次 要 副本 接任 主 副本 角色 。 可 用 性 组 上 现存 的 连接 全 部 终 
户 端 需要 建立 新 的 连接 来 完成 与 主 数据 库 的 工作 。 


` 若 次 要 副本 在 站 点 A， 现 存 客户 端 不 需要 重建 连接 即 可 继续 工作 。 


由 于 站 点 A 上 数据 库 的 所 有 副本 在 站 点 B 均 有 备份 ， 因 此 站 点 故障 不 会 影响 数据 可 用 性 。 受 影响 的 虚拟 机 会 通过 vSphere HA 
目 动 重启 。 延 伸 集 群 在 设计 时 丈 考 虑 到 需要 在 任何 时 刻 承 受 单 点 故障 的 友 生 ， 通 过 配合 AlwaysOn 可 用 性 组 的 同步 提交 模式 ， 数 
据 库 可 以 在 1 秒 以 内 自动 故障 转移 到 次 要 虚拟 机 。vSphere HA 可 以 重启 受 站 点 故障 影响 的 虚拟 机 。 可 用 性 组 在 默认 设置 下 可 以 
在 2 分 钟 内 完成 恢复 。 


在 测试 中 ， 当 主 副本 在 站 点 B 而 次 要 副本 在 站 点 A 时 ， 图 11-15 展 示 了 当 站 点 A 宕 机 时 Benchmark Factory TPS 的 变化 : 运行 
的 客户 端 继续 工作 而 不 需要 任何 重 连 。 


| lad Realtime Statistics | 国 Run vs. Userload | 国 Transactions vs. Load | 
lick here to A int 
1500.00 
1350.00 
1200.00 
1050.00 
900.00 
750.00 — Transactions / Second 
600.00 
450.00 
300.00 
150.00 
0.00 





图 11-15 在 Vittual SANS 4A Z Sui Benchmark Factory TPS 的 变化 


11.4.7 Virtual SAN 延 伸 集 群 与 Site Recovery Manager 的 容 灾 恢复 


Site Recovery Manager 是 针对 VMware 客户 的 实时 灾难 恢复 、 站 点 迁移 及 无 干扰 解决 方案 。vSphere Replication 是 
vCenter Server 的 扩展 ， 其 提供 了 基于 虚拟 机 监管 程序 的 虚拟 机 复制 与 恢复 功能 。 


通过 使 用 Virtual SAN 延 伸 集 群 与 Site Recovery Manager， 用 户 可 以 在 一 座 城 市 中 以 双 活 模式 运行 OLTP 应 用 ， 而 在 另 一 座 
城市 使 用 灾难 恢复 计划 恢复 整个 生产 环境 服务 器 。 当 一 座 城市 中 的 单个 站 点 宕 机 时 ，Virtual SAN 延 伸 集群 可 以 确保 其 业务 持续 
稳定 运行 。 当 不 可 预期 的 灾难 在 城市 中 友 生 且 Virtual SAN 无 法 恢复 时 ，Site Recovery Manager 可 以 把 所 有 虚拟 机 通过 复制 备 
份 到 其 他 城市 中 。 通 过 使 用 vSphere Replication， 最 小 RPO 可 以 达到 15 分 钟 。 在 保证 方案 有 效 且 成 本 经 济 的 前 提 下 ， 确 保 将 数 
据 不 同步 控制 在 一 定时 间 沁 围 内 。 


当 使 用 Site Recovery Manager 保 护 Virtual SAN 中 的 站 点 时 ， 用 户 需 要 在 每 个 站 点 配置 3 个 组 件 : vCenter Server, Site 


Recovery Managerf[lvSphere Replication, 
SQL server 可 用 性 组 的 备份 与 恢复 组 件 如 图 11-16 所 示 。 
1.Site Recovery Manageriz& 


用 户 可 以 按照 如 下 步 又 ， 在 Virtual SAN 延 伸 集 群 上 为 SQL Server AlwaysOn 数 据 库 高 可 用 组 设置 灾难 恢复 计划 。 设 置 成 功 
后 ,保护 站 点 的 受 保护 虚拟 机 能 够 在 灾难 恢复 站 点 恢复 : 


C 在 每 个 站 点 安装 和 配置 Site Recovery Manager (图 11-16 中 的 City A 和 City B) ， 更 多 关于 如 何 安装 和 配置 Site Recovery 


Managet 的 信 ES. HAA «VMware vCenter Site Recovery Manager6.0 Documentation Center» 。 


City A 
Site A Site B Site C 
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图 11-16 SQL Server 可 用 性 组 的 备份 与 恢复 组 件 


安装 配置 vSphere Replication。 更 多 关于 如 何 安装 和 配置 vSphete Replication 的 信息 ， 请 参考 《VMware vSphere 


Replication6.0Documentation Center? 。 
- i it https:// «vr. setver, addtess?:54804£vCenter'P j JJ vSphere Replication, 4e 11-17 FT. 
- 监控 vSphete Replication t7 447 IK Æ 


用 户 可 以 在 受 保护 的 站 点 或 恢复 站 点 查看 监控 状态 ， 通 过 登录 vSphere Web Client, vSphere 
Replication Sites? Monitor vSphere Replication 来 检查 3 个 选项 : outgoing 的 备份 ，incoming 的 备份 和 报告 。 以 此 监控 
备份 状态 ， 查 看 虚拟 机 的 vSphere Replication 配 置 。 


vSphere Replication 报 告 总 结 了 备份 状态 ， 包 括 备份 的 虚拟 机 、 传 输 的 字 节 、RPO 冲 突 、 备 份 数 、 丫 点 连接 和 vSphere 
Replication 服 务 器 连接 状态 ， 如 图 11-18 所 示 。 


vSphere Replication Appliance 


Network Update System Applicaton Home | Help | Logout user root 


Startup Configuration 
Successfully saved the configuration 


Configuration Mode: ® Configure using the embedded database Actions 


— Manual configuraton Save and Restart Service 


- Configure from an existing VRM database | UnregisterVRMS | 


Reset Embedded Databade 


LookupService Address: | | 
SSO Administrator: Administrator@vsphere20 15 local | 


Password. 


VRM Host 
VRM Site Name: 


vCenter Server Address: 


vCenter Server Port 


vCenter Server Admin 
Mail 


IP Address for Incoming Storage Trafic: | | 


|! Apply Network Setting | 





图 11-17 vSphere Replication 4810 BC F. 
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图 11-18 vSphere Replication + 


. 为 虚拟 机 创建 保护 组 和 恢复 计划 ， 如 图 11-19、 图 11-20 所 示 。 


Virtual machines 


Select virtual machines for this protection group. The replication status of the virtual 
machine will not be affected by adding or removing it from this protection group. 





Replicated Virtual Machines: 


(à VSANSQL-AAGO1 OK Add to this protection group 


Lodi g> 


vi rx 





C] @) VSANSQL-AAG03 initial Full ... 


| 





a Next | i Finish Is el Rn rte. Lum | Cancel - 


图 11-19 ”创建 保护 组 


v 1 Name and location Reed te compiste 
w^ 2 Recovery site 


Review your settings selections before finishing the wizard. 


wv 3 Protection groups Name: RecoveryPlan AAG 

w' 4 Test networks Location: 1 177 222 - SRMWDC 

J Description: Recovery plan for server 1 and server 2 
Protected Site: 1 177 222 
Recovery Site SRMWDC 
Protection Groups: ProtectPlan AAG 





图 11-20 创建 恢复 计划 


C 运行 测试 计划 并 确保 保护 站 点 可 以 接管 保护 组 中 的 虚拟 机 。 图 11-21 所 示 为 可 用 性 组 中 SQL Servet 虚 拟 机 完成 测试 的 截图 。 


@ Testcomplete 
The virtual machines have been recovered in a test environment at the recovery site. Review the plan history to wew any errors or warnings. When you are ready to remove the test 
environment run a Cleanup operation on this plan. 
5 | à o v View. | Test Steps 


Recovery Step Step Started Step Completed 
> E 1. Synchronize Storage 
GB, 2. Restore Recovery site hosts from standby Tuesday, September 01, 20158. Tuesday, September 01, 2015 8:41:58 PM 
的 3. Suspend Non-critical VMs at Recovery Site 
> [d 4 Create Writeable Storage Snapshot Tuesday, September 01, 20158. Tuesday, September 01, 2015 8:41:58 PM 
E 5 Power On Priority 1 VMs 
E 6. Power On Priority 2 VMs 
v E 7. Power On Priority 3 VMs Tuesday, September 01, 20158... Tuesday, September 01, 2015 8:44:13 PM 
> @ 7.1. VSANSOL-AAG02 Tuesday, September 01, 20158. Tuesday, September 01, 2015 8:43:54 PM 
> @ 72 VSANSOL-AAGO1 Tuesday, September 01, 20158... Tuesday, September 01, 2015 8:44:13 PM 
E 8. Power On Priority 4 VMs 
9. Power On Priority 5 VMs 





图 11-21 测试 计划 状态 


. 清理 恢复 计划 : 单 击 Site Recovety， 在 左边 的 面板 选择 Recovety Plans， 在 右边 的 面板 选择 具体 的 恢复 计划 


一 Actions 一 Cleanup。 


1) Virtual SAN 为 保护 和 恢复 站 点 提供 了 统一 的 存储 平台 。 


2) vSphere Replication 的 最 小 RPO 的 设置 范围 可 以 为 5~144 分 钟 。vSphere Replication 的 虚拟 机 VMDK 备 份 依赖 于 IP 网 
络 ， 因 此 如 果 网 络 带 宽 在 规定 的 时 间 内 不 能 完成 数据 备份 ，RPO 可 能 无 法 满足 ，vSphere Replication 就 会 报告 RPO 冲 突 。 用 户 


可 以 通过 提供 更 多 的 网 络 市 宽 或 改变 RPO 策 略 来 解决 这 类 问题 。 


[i 
e 


3) vSphere Replication 从 一 个 站 点 或 城市 备份 虚拟 机 到 另 一 个 站 点 或 城市 时 ，DNS 服 务 器 或 IP 网 络 可 能 会 改变 。 需 要 i 
DNS 重 新 设置 或 必要 的 修改 来 确保 虚拟 机 在 灾难 恢复 后 可 以 正常 工作 。 


4) vSphere Replication 不 能 确保 在 可 用 性 组 中 的 主 副 本 和 次 要 副本 在 同一 时 间 点 复制 ， 从 而 导致 数据 不 一 致 现象 友 生 。 
此 ， 如 果 主 副本 无 法 和 次 要 副本 同步 ，AlwaysOn 数 据 库 高 可 用 组 会 处 于 非 同步 状态 且 无 法 恢复 。 对 此 的 解决 方法 是 在 方案 中 移 
除 对 应 的 数据 库 高 可 用 组 ， 丢 茎 非 同 步 次 要 数据 库 并 重建 可 用 性 组 。 


11.4.8 SOL Server 基 于 Virtual SAN 的 数据 库 备份 与 恢复 


VMware Data Protection 同 时 支持 Virtual SAN 和 传统 SAN 人 存储 。Virtual SAN 可 以 提供 统一 的 数据 存储 来 备份 虚拟 机 和 用 
户 数 据 库 。 通 过 vSphere Data Protection 插 件 在 vCenter Web Client 中 可 以 轻易 完成 备份 配置 。 


在 VMware 环境 中 部 署 vSphere Data Protection 应 用 简易 方便 。 在 大 多 数 情况 下 只 需要 一 个 应 用 融 可 以 满足 SQL Server 的 
备份 需要 。 用 户 可 以 在 VMware 官网 下 载 OVA 文 件 ， 并 通过 快速 设置 选择 需要 部 署 的 数据 存储 和 网 络 设置 。 在 部 署 完 虚拟 机 以 
后 ， 用 户 可 以 通过 引导 完成 配置 。 


1.79SQL Server 数 据 库 安装 vSphere Data Protection 


为 支持 宾客 级 备份 ， 必 须 在 每 个 SQL Server 上 安装 vSphere Data Protection for SQL Server Client 以 便 支持 备份 与 恢复 。 
在 使 用 vSphere Data Protection 之 前 ， 用 户 必须 先 安 装 和 配置 ， 具 体 章节 可 参考 《vSphere Data Protection Administration 
Guide) . 


为 SQL Server 数 据 库 安 北 vSpheve Data Protection 的 具体 步骤 如 下 : 


(1) 在 每 个 SQL Server Fig EiiRjvSphere Data Protection Web Client， 如 图 11-22 所 示 。 


vSphere Data Protection 6.0 (powered by EMC) 


Welcome to vSphere Data Protection 


To manage a vSphere Data Protection Appliance, select an 
appliance from the drop-down list and click Connect 


VDP Appliance: | vSphere Data Protection 6.0 


Status: Not connected 


To deploy a new instance of the vSphere Data Protection 
Appliance, select vCenter > Hosts and Clusters. Right-click the 
server to which you want to deploy the Appliance and select Deploy 
OVF Template. 








图 11-22 vSphere Data Ptotection 欢 迎 页 


(2) 如 图 11-33 所 示 ， 从 vCenter Web client 下 载 应 用 备份 客户 端 到 本 地 的 SQL Server 虚 拟 机 上 。 在 Downloads 栏 ， 选 择 
Microsoft SQL Server64bit 客 户 端 。 


(3) 在 Job Type 栏 ， 选 择 Applications。 在 Data Type 栏 ， 选 择 Selected Databases。 当 创建 一 个 新 的 备份 作业 时 ， 选 择 
需要 的 备份 类 型 ， 人 在 Backup Options 中 使 用 默认 的 设置 ， 如 图 10-24 所 示 。 


(4) vSphere Data Protection 在 备份 频率 上 ， 用 户 有 多 重 选 择 (可 以 选择 每 天 、 每 周 ， 甚 至 每 月 备份 ) 。 在 备份 保留 选 
项 上 ，vSphere Data Protection 也 文 持 用 户 根据 需要 目 主 选择 具体 时 间 。 


VDP Appliance storage summary 





108) 177.210 

6.0.1.5 

7.1.81.107_6.0.1.5 

Normal 

1 旺旺.177.98 

1129 177.222 
Administrator@vsphere2015 local 
12/02/2015 03:30 AM 

GMT -3:00 


536.3 GiB 
431.5 GIB 
104.8 GIB 
763.3 GIB 





w 1 Job Type Backup Sources 
w 2 Data Type Select the backup sources from the list below. 
Teacup sources ED 
4 Backup Options 
5 Schedule 
6 Retention Policy 
7 Job Name 


v GA Microsoft SQL Server 
v GA bmf250-p.bmfdc01.com 
v [M] CJ (local) 


Clear All Selections 


t Ready to Complete 


[] O master 
[] G model 
[] O msdb 
OD O tempdb 
> 图 bmf250-s.bmfdc01.com 
» E Microsoft SQL Failover Cluster 
> 万 Microsoft SQL AlwaysOn Cluster 
> ER Microsoft Exchange Server 
> EM Microsoft Exchange DAG Cluster 


图 11-24 创建 备份 作业 


图 11-25、 图 11-26 所 示 分 别 为 设置 备份 频率 和 调度 备份 频率 。 


| Bak || Next 


Finish 


omen | 





1 Job Type Schedule 


vV 

Vv 2 Data Type The schedule determines how often your selections will be backed up. Backups will occur as close to the start of the backup 
vV 

v 


window as possible. 
3 Backup Sources 


4 Backup Options 


ED so。 © daly 
Retenton Poe O weet poromes every (Suny — [7 
7 Job Name Om (m — (Sony |) trey monn 


8 Ready to Complete 


Start Time on Server: | 8:00 PM I 











图 11-25 ”设置 备份 频率 


1 Job Type Retention Policy 

2 Data Type The retention policy determines how long backups are retained. After this time period expires, they are deleted from the system. 
3 Backup Sources 

4 Backup Options 

5 Schedule Keep: (_) Forever 


- Reunion Poney eu > nom 
T Job hee O until 01/31/2016 a 


8 Ready to Complete 
O this Schedule: 


Monthly for: 0 E month(s) |v 


Yearly for: 0 = year(s) |" 





图 11-26 ”调度 备份 频率 
5) 在 Ready to complete 栏 ， 给 任务 命名 并 单 击 Finish， 完 成 新 建 备 份 任务 创建 。 


6) eek &vSphere Data Protection 备 份 ， 在 恢复 选项 tab 下 ， 选 择 备份 任务 并 运行 恢复 作业 ， 如 图 11-27 所 示 。 





E3* Recover replicated backups @, Restore Q Lock/Unlock jg Delete — [X] Clear all selections 


Set Restore Options 
a 2 Seat Restore Options Set the restore options for each backup that you are restoring. 


i Client: — listQO1 aag.bmfdco1.com 
Backup: 11/18/2015 07:01 AM 
Restore to original location 
T Advanced options 


Use SQL REPLACE opiom: | 
Restore only on primary replica — [v/ 
TaiMog backup: | 
Restore system databases: | 
Authentication method: 
Login ID: 
Login password 


Recovery operation: 





Finish | Cancel | 


图 11-27 恢复 vSphere Data Protection 备 份 


2. 在 Virtual SAN 上 备份 SQL Server 可 用 性 组 


SQL Server 可 用 性 组 的 备份 依赖 于 可 用 性 组 监听 ， 如 图 11-28 所 示 。 监 听 必 须 在 vSphere Data Protection 之 前 创建 。 





& [fj BMF250-P (SQL Server 12.0.2000 - BMFOCOT\dcpower) 
= A Databases 
图 C3 System Databases Availability group state: @ Healthy 
= A Database Snapshots Primary instance: BMF250-P 
E: U bmf_250 (Synchronized) Failover mode: Automatic 
w U TPCE25068 Cluster state: bmf250cluster (Normal Quorum) 
& C3 Security — , 
困 C3 Server Objects Availability replica: 
= Cy Replication Role Failover Mode = Synchronization State — Issues 
5 A AlwaysOn High Availability . . i 
& GA Availability Groups Primary Automatic Synchronized 
& $^ bmf250 (Primary) Secon.. Automatic Synchronized 
= C3 Availability Replicas 
dg BMF250-P (Primary) 
Š BMF250-S (Secondary) Replica Synchronization State Failover Readi.. Issues 
5 G Availability Databases 
brat 250 BMF250P Synchronized No Data Loss 
a Ga 
sqlbmf001 
@ O Integration Services Catalogs 
= G SQL Server Agent 





图 11-28 备份 SQL Server 可 用 性 组 
使 用 vSphere Data Protection 来 配置 SQL Server 数 据 库 高 可 用 组 备份 ， 在 故障 转移 集群 中 配置 集群 客户 端 。 


1) 在 下 载 和 安装 集群 客户 问 后 ， 通 过 vSphere Data Protection Windows Cluster Confi-gurations 来 配置 数据 库 高 可 用 
组 备份 。 选 择 SQL AlwaysOn， 确 保 每 个 节点 的 插件 均 已 安装 ， 如 图 11-29 所 示 。 


Plug-ins 


The VDP plug-ins that appear in black were detected on the bmf2SOcluster cluster. Select a plug-in to 
configure: 


VDP Backup Plug-ins 
Exchange DAG 


SQL 


SQL AlwaysOn 


VMware vSphere 
Data Protection 





图 11-29 ”选择 SQL AlwaysOn 作 为 播 件 


(2) 在 如 图 11-30 所 示 的 页 面 中 ， 选 择 Configure a new cluster client for all nodes, 


Operations 


Select the operation to perform For the SQL AlwaysOn Cluster Client on the bmf250cluster cluster: 
© View the existing cluster cient configuration 
(€) Configure a new duster client for all nodes 


(J Remove the cluster client from all nodes 


VMware vSphere 
Data Protection 





图 11-30 为 所 有 节点 配置 新 的 集群 客户 端 


3) 确认 所 需 的 前 提 条 件 已 被 满足 ， 包 括 : VDP 的 Windows 客 尸 端 都 已 经 在 相应 的 虚拟 机 中 安 北 成 功 ;，SQL AlwaysOn 备 份 
插件 客户 端 都 已 经 在 相应 的 虚拟 机 中 安 沪 成功， 集群 组 在 所 有 安 沪 客 尸 尊 AlwaysOn 备 份 插 件 的 虚拟 机 上 进行 了 正确 配置 ， 如 图 
11-31 所 示 。 


Prerequisites 


Verify that the bmf2SOcluster cluster environment meets the Following prerequisites before 
configuring the SQL AlwaysOn Cluster Client: 

* The VOP Windows Client has been installed. © 

* The VOP Backup Plug-in for SQL AlwaysOn has been installed. © 

* The Cluster Group exists if the cluster client is already configured for any nodes. © 


VMware vSphere 
Data protection 





图 11-31 vSphere Data Protection Windows Cluster Confeuration 的 预先 要 求 


4) 确保 SQL Server 数 据 库 高 可 用 组 监听 已 经 创建 ， 以 便 vSphere Data Protection Windows Cluster 配 置 向 导 可 以 识别 
SQL AlwaysOn 集 群 ， 如 图 11-32 所 示 。 


SQL AlwaysOn Settings 


Specify the settings for the SOL AlwaysOn Cluster Client: 
Custer duster for Role cent: 


Cluster client name; — ben 250_sqlbmf0o! V 


/Mware vSphere 
Data Protection 





图 11-32 SQL Server Always 〇 On 设置 
5) 输入 vSphere Data Protection 的 IPv4 地 址 ， 单 击 Next。 


6) 元 成 客 己 端 配置 ， 如 图 11-33 所 示 。 


The configuration was successful 


Results of the configure operation: 


Constructing the backup agent service startup parameters for Failover configuration. 
Successfully constructed the backup agent service startup parameters for pin file: spi 
Constructing the Plug-in parameters... 

Successfully constructed the Plug-in parameters 

Installed ‘VDP Backup Agent forbmf250 sqbmf001 on all nodes successfully 
Successfully installed agent on nodes 

Created cluster resource VMware VDP Backup Agent resource for bmf250 in cluster gro 
Successfully installed the EMC Avamar clients 
Successfully started the cluster resource agent VMware VDP Backup Agent resource for 
SQL AlwaysOn Cluster Clent was registered successfully 

SQL AlwaysOn Cluster Cent was started successfully 

Completed the installation of 'VDP Backup Plug-in for SOL AlwaysOn' on bmf250-p 
Start populating other nodes wath 'cid.bin' registration file... 





VMware vSphere 
Data Protection 





图 11-33 ”完成 客户 端 配置 
3. 测 试 场 景 


为 验证 vSphere Data Protection 数 据 库 和 可 用 性 组 的 备份 ，VSAN 分 配 了 3 块 虚拟 磁盘 ， 总 共 0.5TB 的 备份 空间 用 于 备份 
SQL Server 数 据 库 。 数 据 库 高 可 用 组 的 备份 类 型 为 元 全 备份 ， 备 份 流 量 通 过 1GbE 网 络 传 输 。 在 VSAN 初 始 配 置 3 块 256GB 的 虚拟 
磁盘 后 ， 可 用 备份 空间 大 约 有 536GB， 如 图 11-34 所 示 。 


Storage Summary 


V prmb-corptechmktg2-dhcp-208.eng.vmware.com 


Total Usable Storage: 536 GiB (575,918,270,054.40 bytes) 
Storage Available: 536 GIB (575.918,270,054.40 bytes) 
Performance Analysis: Unknown 





图 11-34 配置 后 的 存储 总 结 
(1) 使 用 vSphere Data Protection 备 份 前 对 Virtual SAN 进 行 存 储 性 能 验证 


我 们 建议 使 用 vSphere Data Protection 备 份 前 对 Virtual SAN 进 行 存储 性 能 验证 。 需 要 说 明 的 是 ， 配 置 vSphere Data 
Protection Appliance 时 ， 不 同 大 小 的 Appliance 部 署 ， 相 应 的 性 能 测试 期 望 和 测试 结果 也 不 同 。 表 11-15 列 出 了 不 同 vSphere 
Data Protection Appliance 配 置 下 期 望 的 最 低 读 取 、 写 入 和 峰值 性 能 。 


411-15 不同 vSphetre Data Protection Appliance 配 置 下 期 望 的 最 低 读 取 、 写 入 和 峰值 性 能 


nnde = 
8.0 1024 120 400 


在 为 vSphere Data Protection 配 置 存储 后 ， 


AT 


15111f 


存储 性 能 测试 以 验证 存储 容量 。 性 能 分 析 测 试 会 在 数据 存储 上 创建 约 


41GB 的 VMDK， 然 后 运行 读 取 、 写 入 和 峰值 测试 来 检查 数据 存储 的 性 能 。 


表 11-16 所 示 为 将 Virtual SAN 作 为 vSphere Data Protection 备 份 存储 的 性 能 结 


表 11-16 将 Virtual SAN 作 为 vSphete Data Ptotection 备 份 存储 的 性 能 结果 


存储 性 能 结果 
eK A FF itt (MB/S) 
最 低 读 取 吞吐 量 (MB/S ) 
fic {Fil 


Bits AAIE (MB/S) 


‘(A Plt it (SEEKS/S) 


总 计 读 取 吞 吐 量 (MB/S) 


总 计 峰 值 吞 吐 量 (SEEKS/S ) 


从 测试 结果 可 以 看 出 4 节点 Virtual SAN 集 群 可 以 完全 满足 vSphere Data Protection 对 备份 仓储 的 性 能 


(2) Virtual SAN 人 存储 备份 与 恢复 验证 结果 


实际 结果 期 待 结 果 
635 30 
630 60 
732 30 
661 60 


通过 使 用 Benchmark — — — Data Protection 备 份 恢复 性 能 和 效率 。 为 了 验证 


vSphere Data Protection 的 备份 和 恢复 效率 ， 我 们 通 
小 约 为 252.8GB， 


过 Benchmark Factory 创 建 了 250GB 的 样本 数据 库 ， 实 际 创建 的 数据 库 大 


这 其 中 包括 了 数据 、 索 引 和 交易 日 志 。 图 11-35 所 示 为 样本 数据 库 的 实际 空间 利用 率 。 


Disk Usage 
[bmf 250] 
on BMF250-P at 11/13/2015 3:00:24 PM 


This report provides overview of the utilization of disk space within the Database. 


Total Space Reserved | 475.28 GB 
Data Files Space Reserved | 370,600.00 MB 
Transaction Log Space Reserved | 116,088.69 MB 





Data Files Space Usage(%) Transaction Log Space Usage(%) 
54.33 


I) Index 1 
IJ Unallocated 
E Date 

E Unused 





图 11-35 样本 数据 库 的 实际 空间 利用 率 


表 11-17 列 出 了 不 同 备份 方式 下 的 备份 持续 时 间 和 备份 空间 占用 。 这 些 备份 是 在 没有 工作 负载 的 情况 下 进行 的 线 下 备份 。 相 
比 SQL server 自 有 的 备份 方式 ， 使 用 vSphere Data Protection 可 以 采用 去 重 技术 降低 实际 空间 利用 率 。 相 比 SQL server 自 有 的 
数据 库 备份 ，vSphere Data Protection 备 份 可 以 节约 44% 的 备份 时 间 和 78% 的 空间 使 用 率 。 


表 11-17 不 同 备份 方式 下 的 备份 持续 时 间 和 备份 空间 占用 


备份 方式 备份 持续 时 间 (MM:SS) 备份 空间 ( GB ) 


vSphere Data Protection for database group 23:42 56.9 


表 11-18 列 出 了 恢复 SQL Server 自 有 的 数据 库 备份 和 恢复 通过 使 用 vSphere Data Protection 备 份 的 时 间 。 相 比 SQL Server 
自 带 的 数据 库 恢复 ， 基 于 vSphere Data Protection 的 恢复 需要 额外 的 连接 ， 状 态 监测 和 数据 设置 转换 时 间 。 
表 11-18 不 同 数据 源 的 恢复 时 间 
SQL 备份 文件 47:54 
vSphere Data Protection 数据 集 20:32 
(3) 来 自 次 要 副本 的 SQL Server 数 据 库 备 份 


AlwaysOn 数 据 库 高 可 用 组 有 4 个 可 用 备份 选项 : primary, prefer secondary, secondary only 以 及 SQL Server defined 
in vSphere Data Protection。 为 了 最 小 化 备份 对 运行 负载 的 影响 ， 我 们 选择 secondary only 来 测量 在 工作 负载 下 的 备份 持续 时 
[B], 


为 了 便于 测试 ，Benchmark Factory 在 250GB 的 数据 库 遍 可 用 组 上 产生 工作 负载 ， 产 生 的 每 秒 事务 数 企 840 到 950 之 间 。 当 
负载 稳定 后 ， 局 动 vyphere Data Protection 备 份 作 业 。 当 备份 从 可 用 性 组 的 次 要 副本 初始 化 时 ， 主 副本 数据 库 运 行 的 工作 负载 


没有 受到 明显 影响 。 备 份 大 约 化 费 24 分 钟 ， 吞 吐 量 为 80MB/S。 这 使 得 用 户 人 在 运行 读 写 工作 负载 的 同时 ， 将 数据 库 的 备份 任务 从 
主 副 本 数据 库 季 载 到 次 要 副本 ， 从 而 降低 对 主 数据 库 的 性 能 影响 。 


(4) 通过 vSphere Data Protection 运 行 增 量 备份 


类 TPC-E 工 作 负 载 会 导致 数据 和 日 志 的 空间 利用 率 的 增长 ， 类 TPC-E 工 作 负 载 也 会 在 源 数 据 库 中 更 新 数据 。 因 此 ， 在 运行 增 
量 备份 时 ， 备 份 空间 包括 工作 负载 产生 的 增 量 数 据 和 更 改 的 数据 量 。 本 次 验证 通过 在 Benchmark Factory 中 运行 8 小 时 带 有 100 
个 用 户 的 类 TPC-E 工 作 负 载 来 模拟 企业 一 天 中 的 数据 变化 。 下 面 的 公式 说 明了 在 运行 类 TPC-E 负 载 后 的 数据 更 改 量 。 


(5) 更 改 数据 量 = 数据 修改 量 + 类 TPE-C 数据 增长 + 类 TPC-E 日 志 增 长 。 
我 们 通过 手动 运行 备份 作业 来 测试 空间 利用 率 。 图 11-36 所 示 为 一 个 工作 日 后 的 空间 利用 率 。 在 运行 了 8 小 时 后 ， 数 据 库 执 


行 了 超过 2190 万 条 交易 。 根 据 类 TPC-E 交 易 更 新 率 (20.9%) HA, 数据库 中 大 约 有 430 万 条 更 新 交易 或 数据 更 改 。 


Disk Usage 
[bmf 250] 
on BMF250-P at 11/14/2015 6:50:59 AM 


This report provides overview of the utilization of disk space within the Database. 
Total Space Heserved 475.28 GB 


Data Files Space Reserved 370,600.00 MB 
Transaction Log Space Reserved 116,088.69 MB 


Data Files Space Usage (96) Transaction Log Space Usage (76) 
54.99 


Index 1 
国 Unallocated 
EN Data 
EEE Unused 





图 11-36 8+)» BH] Benchmark Factoty 测 试 运行 后 的 磁盘 利用 率 
表 11-19 所 示 为 使 用 vSphere Data Protection 的 数据 增长 和 备份 空间 使 用 情况 。 


使 用 vSphere Data Protection 的 数据 增长 和 备份 空间 使 用 情况 


一 个 工作 日 后 ( 8 小 时 类 TPC-E 工作 负载 ) 
数据 / SH mH (GB) 256.86 
日 志 使 用 (GB) 15.30 
备份 空间 (vSphere Data Protection) 84.10 


vSphere Data Protection 可 有 效 可 靠 地 备份 虚拟 机 、 虚 拟 服务 器 、SQL Server 数 据 库 以 及 SharePoint 和 Exchange 等 应 
用 。 软 件 在 有 效 节 约 空间 的 前 提 下 ， 能 够 进行 指定 周期 性 全 备份 、 差 异 备份 等 。 通 过 部 署 vSphere Data Protection ， 用 户 可 以 


通过 vCenter 进 行 统一 管理 。 使 用 向 导 配 置 备 份 作业 帮助 用 户 制 定 目标 策略 、 计 划 以 及 其 他 相关 组 件 。 


11.5 在 Virtual SAN 上 虚拟 化 SQL Server 的 最 佳 实践 


AN T1148 f f£Virtual SAN 环 境 上 部 署 虚拟 化 SQL Server 的 最 佳 实 践 ， 具 体 包 括 Virtual SAN 配 置 ， 虚 拟 机 CPU、 内 和 存 以 及 


P 
网 络 配置 等 具体 信息 。 


11.5.1 Virtual SAN 配 置 原 则 

Virtual SAN 通 过 ESXi 主 机 的 本 地 直 连 设备 构建 分 布 式 对 象 存 储 。 在 混合 架构 Virtual SAN 配 置 中 ， 其 以 磁盘 组 的 形式 将 SSD 
和 磁盘 池 化 为 单独 的 管理 结构 。VMware 推 荐 使 用 等 同 配置 和 规模 的 ESXi 主 机 来 构建 Virtual SANSERE, 

1. 容 量规 划 


急 始 部 署 需要 考虑 日 后 数据 增长 的 容量 和 满足 进一步 需求 的 内 存 缓存 。 每 从 服务 器 使 用 多 个 Virtual SAN 磁 盘 组 ， 每 个 磁盘 
组 确保 有 足够 容量 的 HDD 和 SSD。 为 便于 后 期 扩展 ， 建 议 以 相同 的 配置 和 规模 创建 磁盘 组 ， 以 此 确保 虚拟 机 存储 组 件 在 集群 中 
磁盘 和 主机 上 的 平衡 分 布 。 


2. 性 能 规划 


确保 在 缓存 层 拥 有 足够 的 容量 用 于 满足 OLTP 应 用 的 |/O 访 问 需 求 是 十 分 重要 的 。 通 常情 况 下 ， 我 们 建议 每 台 主 机 配置 的 SSD 
容量 至 少 为 忌 存储 容量 的 10%。 但 是 在 大 多 数 对 随机 I/O 访 问 具 有 高 性 能 需求 的 业务 下 ， 建 议 SSD 容 量 人 至 少 为 工作 负载 尽量 大 小 
的 两 倍 。 


对 于 SQL server 天 键 用 户 数 据 库 ， 我 们 对 规划 SSD 容 量 有 以 下 两 点 建议 : 
(1) 设计 SSD 容 量 用 于 缓存 活跃 的 用 户 数 据 库 


类 TPC-E OLTP 的 MO 模式 以 8KB 的 密集 型 随机 读 取 访 问 为 主 。 为 满足 来 目次 要 副本 只 读 工作 负载 和 日 志 固 化 操作 ， 强 烈 建 
议 SSD 容 量 为 首要 数据 库 和 次 要 数据 库 轧 大 小 的 两 倍 。 例 如 ， 对 于 100GB 的 用 户 数 据 库 ， 应 设计 2x2x100GB 的 SSD 容 量 。 


(2) 选择 合适 的 SSD 级 别 来 满足 不 同 IOPS 需 求 


对 于 读 取 密 集 型 OLTP 工 作 负 载 ，SSD 支 持 的 IOPS 依 赖 于 SSD 的 级 别 。 一 个 优化 的 TPE-C 负 和 载 可 以 达到 10% 的 写 比 例 。 所 以 
对 写 的 性 能 要 求 很 高 。 用 户 可 以 在 《VMware Compatibility Guide》 中 查阅 VSAN 支 持 的 闪存。 为 了 优化 性 能 ，VMware 推 荐 
使 用 不 同 级 别 的 内 存 设备 以 满足 不 同 的 工作 负载 性 能 需求 : 


Class A: 每 秒 2500~5000IOPS 写 入 
Class B: 每 秒 5000~10000IOPS 写 入 
Class C: 每 秒 10000~20000IOPS 写 入 
Class D: 每 秒 20000~30000IOPSs 写 入 


Class E: 每 秒 30000 以 上 IOPS 写 入 


3. 高 可 用 规划 
设计 3 台 以 上 主机 和 额外 的 容量 ， 以 便 在 故障 发 生 时 ， 集 群 可 以 自动 修复 。 


对 于 SQL server 天 键 业 务 用 户 数 据 库 ， 局 用 AlwaysOn 高 可 用 数据 库 组 ， 并 将 AlwaysOn 复 制 设 置 为 同步 模式 。 可 以 将 FTT 
设置 为 大 于 1， 以 便 在 Virtual SAN 中 得 到 更 多 副本 。 一 般 来 说 ，FTT 设 置 为 1 可 以 满足 大 多 数 启 用 AlwaysOn 特 性 的 SQL Server 
数据 库 对 高 可 用 的 需求 。 


置 恰当 的 基于 存储 策略 的 管理 


Virtual SAN 基 于 存储 策略 的 管理 可 以 针对 每 从 虚拟 机 设置 可 用 性 、 容 量 和 性 能 策略 。 在 本 方案 中 ， 推 荐 改变 虚拟 机 存储 策 
略 中 关于 每 个 对 象 磁盘 条 市 的 数量 和 对 象 空间 预 留 的 默认 值 : 


设置 对 象 空间 预 留 为 1009%， 预 先 分 配 Virtual SAN 数 据 存 储 中 的 容量 。 


通过 设置 每 个 对 象 磁盘 条 帝 的 数量 (条 带宽 度 ) ， 可 以 提高 拥有 I/O 密 集 型 应 用 虚拟 机 的 性 能 ， 例 如 OLTP 数 据 库 。 在 SQL 
Server OLTP 工 作 负 和 载 的 渴 合 架构 Virtual SAN 环 境 设 计 中 ， 采 用 多 块 SSD 和 HDD 相 比 只 增加 条 融 数 来 说 更 重要 。 主 要 需要 考虑 
以 下 两 个 因素 : 


: 如 果 有 更 多 的 磁盘 组 ， 因 而 配置 了 更 多 的 SSD， 对 虚拟 磁盘 设置 较 大 的 条 带宽 度 可 以 将 数据 文件 打 落 在 多 个 磁盘 组 上 ， 以 
此 可 以 改善 磁盘 性 能 。 


| 更 多 的 条 带宽 度 可 以 将 大 于 255GB 的 虚拟 磁盘 分 割 进 更 多 的 磁盘 组 件 中 。 但 是 ，Virtual SAN 不 能 确保 增加 的 磁盘 组 件 可 以 
分 布 到 多 个 磁盘 组 中 ， 也 不 能 保证 每 块 HDD 都 可 以 存储 一 个 磁盘 组 件 。 如 果 多 个 磁盘 组 件 被 分 布 在 同一 个 磁盘 组 中 ， 增 加 条 市 
宽度 只 能 保证 增加 的 组 件 分 布 到 更 多 的 HDD 中 。 在 这 种 情况 下 ， 增 加 的 条 带宽 度 可 能 不 会 改善 性 能 。 


我 们 推荐 根据 数据 库 大 小 为 虚拟 机 设置 多 块 VM DK， 这 些 VMDK 分 布 在 Virtual SAN 集 群 的 多 个 磁盘 组 中 。 
- 在 不 同 的 SCSI 控 制 器 上 创建 独立 的 数据 文件 盘 、 上 日 志文 件 盘 、 临 时 数据 文件 盘 。 
设置 独立 的 SCSI 控 制 器 用 于 tempdb 和 用 户 数据 库 。 
- 使 用 PVSCSI 控 制 器 ， 设 置 合适 的 队列 深度 。I/ 〇 密集 型 大 规模 工作 负载 要 求 适 配器 队列 深度 大 于 PVSCSI 默 认 值 。 更 多 信 


息 请 参考 «Knowledge Base Atrticle2053145》 。 


11.5.2. ”CPU 配置 原则 


本 节 提 供 SQL Server 数 据 库 虚拟 机 针对 CPU 配 置 的 原则 ， 了 解 应 用 对 CPU 设 置 的 需求 : 


深入 了 解 工 作 负 载 。 不 同 的 应 用 拓扑 和 部 署 对 数据 库 服 务 器 利用 的 差异 很 大 。 若 应 用 要 用 于 商业 环境 ， 请 确保 其 满足 部 署 
指导 原则 。 若 应 用 是 客户 定制 的 ， 请 与 应 用 开发 商 沟 通 从 而 决定 资源 需求 。VMwate Capacity Planer T 以 分 析 用 户 的 当前 业务 环 
境 ， 根 据 当 前 的 业务 量 提供 合适 的 资源 利用 参考 。 


: 车 用 户 不 清楚 具体 的 工作 负载 量 ， 可 以 通过 先 减 少 YCPU 数 量 ， 然 后 逐渐 增加 来 确定 。 只 有 运行 的 SQL Setvet 工 作 负 载 可 以 
充分 利用 所 有 vCPU 时 ， 对 虚拟 机 分 配 多 个 vCPU 才 有 意义 。 过 量 配置 VCPU 可 能 会 导致 虚拟 化 过 载 。VMwate 针 对 SQL Setvet 的 性 能 
测试 已 经 证 实 ， 即 使 是 单 vCPU 虚 拟 机 也 可 以 承载 高 交易 吞吐 量 ， 因 此 单 YCPU 对 于 大 多 数 SQL Setvet 数 据 库 来 说 足够 了 。 


“ 对 于 严格 控制 和 高 度 整 合 的 生产 环境 ， 确保 要 考虑 到 虚拟 化 过 载 开 销 (根据 工作 负载 在 8% 到 15% 之 间 ) 。 若 用 户 在 考虑 


额外 的 CPU 利 用 率 时 保留 了 足够 的 CPU 用 于 过 载 ， 虚 拟 化 的 SQL Server) 以 获得 与 物理 环境 相似 的 交易 吞吐 量 。 


- 当 在 单 台 ESXi 主 机 上 整合 多 台 SQL Server 虚 拟 机 时 ， 合 适 的 硬件 规格 对 于 优化 性 能 至 关 重 要 。 通 过 在 设 定 的 虚拟 化 环境 中 
测试 工作 负载 ， 确 保 主 机 上 拥有 充足 的 物理 CPU 资源 能 够 满足 宾客 虚拟 机 的 需要 。 请 根据 真实 性 能 数据 谨慎 规划 CPU 过 载 ， 以 避 
免 其 对 虚拟 机 性 能 产生 负面 影响 。 针 对 关键 性 能 SQL Servet 虚 拟 机 (在 生产 环境 中 ) ， 确 保有 充足 的 可 用 CPU 资源 ， 以 确保 CPU 
过 载 不 会 导致 任何 性 能 降级 。 


. 在 客户 机 操作 系统 上 安装 最 新 版 本 的 VMware Tools， 并 且 在 ESXi 升 级 后 更 新 VMware Tools. 


- 使 用 NUMA 一 VMware 推 荐 在 服务 器 硬件 BIOS 和 客户 机 操作 系统 上 开启 非 统 一 内 存 访 问 架 构 (NUMA) 。 当 创建 SQL 
Setvet 虚 拟 机 时 ， 创 建 尽 可 能 多 的 虚拟 播 槽 ， 并 把 每 个 播 楼 的 核 数 设置 为 1， 以 使 得 vNUMA 针 对 SQL Servet 操 作 系 统 选 择 最 住 的 虚 


拟 NUMA 拓 扑 结构 。 


11.5.3 ”内 存 配置 原则 


本 节 提 供 SQL Server 数 据 库 虚拟 机 针对 内 存 配置 的 原则 。 因 为 通常 来 讲 ，SQL Server 工 作 负 载 是 内 存 需 求 罕 密 型 负载 ， 性 
能 通常 是 关键 因素 (特别 是 在 生产 环境 中 ) ，VMware 推 荐 以 下 5 条 基于 内 存 配置 的 最 佳 实践 : 


` 深入 了 解 工作 负载 。SQL Servet 虚 拟 机 需要 的 总 内 存 主要 依赖 于 让 虚拟 机 承载 的 数据 库 工作 负载 。 


"数据库 性 能 严重 依赖 总 的 可 用 内 存 。 常 用 的 调 优 技术 是 通过 增加 数据 库 缓存 来 降低 或 避免 磁盘 1/ 〇 ， 以 此 改善 SQL Server 
性 能 。vSphere6.0 支 持 给 每 个 虚拟 机 配置 上 达 4TB 的 内 存 ， 因 此 用 户 可 以 为 SQL Setvet 数 据 库 配 置 大 量 的 内 建 内 存 缓存 来 改善 性 
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CE 
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. 通过 在 虚拟 化 环境 中 测试 目标 工作 负载 ， 确 保 主机 上 拥有 充足 的 物理 内 存 资源 能 够 满足 宾客 虚拟 机 的 需要 。 当 系统 中 的 可 
用 内 存 总 量 小 于 实际 虚拟 机 的 内 存 要 求 时 ， 内 存 过 载 不 应 该 反 过 来 影响 虚拟 机 性 能 。 针 对 性 能 关键 SQL Server WAL (AFH 
HE) ， 确 保 主机 有 充足 的 物理 内 存 资源 可 用 ， 内 存 过 载 不 会 导致 任何 性 能 降级 。 若 内 存在 主机 上 过 载 ， 请 对 关键 性 能 SQL Server 
虚拟 机 设置 内 存 预 留 ， 以 确保 虚拟 机 不 会 出 现 内 存 膨胀 或 内 存 交 换 。 


-如果 对 SQL Servet 设 置 了 内 存 页 面 锁定 ， 请 将 虚拟 机 内 存 预 留 与 虚拟 机 配置 中 内 存 值 设 置 成 相同 值 。 设 置 内 存 预 留 会 禁用 
虚拟 机 内 存 膨胀 驱动 。 


. vSphere 在 客户 机 操作 系统 中 支持 大 页 面 技术 。 若 客户 机 系统 或 应 用 在 原 有 系统 中 受益 于 大 页 面 技术 ， 操 作 系统 或 应 用 在 
虚拟 机 中 也 会 获得 相似 的 性 能 提升 。 通 过 使 用 大 页 面 技术 可 以 降低 内 存 管理 过 载 ， 并 提升 虚拟 机 监管 程序 的 性 能 。 更 多 细节 信息 


请 参考 《Mictosoft SQL Server on VMware Best Practices Guide? 。 


11.5.4 网 络 配置 设计 原则 


本 节 提 供 针对 SQL Server 数 据 库 虚拟 机 的 网 络 配置 设计 原则 。 将 标准 VMware 网 络 最 佳 实 践 引 用 到 vSphere 上 的 SQL 
Server 数 据 库 : 


C 推荐 对 每 个 流量 类 型 设置 独立 的 VLAN， 出 于 安全 和 隔离 考虑 ， 为 虚拟 机 流量 设置 独立 的 基础 架构 流量 。 
: 使 用 VMXNET3 网 络 适 配器 。VMXNET3 适 配器 被 设计 用 于 高 性 能 、 可 优化 虚拟 化 环境 。 


使 用 网 络 I/O 控 制 在 10GbE 网 络 上 控制 网 络 和 存储 流量 (Virtual SAN) 。vSphere 中 的 网 络 I/ 〇 控制 可 以 针对 vSphete 网 络 类 


型 确保 服务 带宽 ， 包 括 虚 拟 机 流量 、Virtual SAN、 管 理 、 备 份 和 vSphere vMotion。 


. 使 用 NIC 绑 定 解决 可 用 性 和 负载 均衡 问题 。NIC 绑 定 可 以 让 多 个 上 行 链 路 适配器 关联 同一 个 vSwitch， 聚 合流 量 。 


更 多 信息 请 参考 (VMware Virtual SAN Network Design Guide) . 


11.6 基于 Virtual SANSIAGZEIAYSQOL Server RI, 


在 过 去 几 个 月 ， 我 们 在 最 新 发 布 的 Virtual SAN6.2 中 针对 SQL Server2014 进 行 了 全 闪存 架构 的 测试 。 在 本 书 截稿 之 际 ， 我 
们 希望 把 最 新 的 数据 呈现 给 广大 读者 。 


11.6.1. Ji ERA 
在 Virtual SAN6.2 中 ， 引 入 了 多 项 关键 的 空间 效率 提高 技术 ， 例 如 去 重 、 压 缩 以 及 纠 删 码 (RAIDS/6) 。 通 过 使 用 这 些 近 
^s, Virtual SAN 存 储 数 据 的 空间 开销 得 到 降低 ， 记 省 了 存储 成 本 。 


在 测试 期 间 ， 我 们 的 目标 之 一 便 是 在 新 的 空间 效率 提高 技术 启用 的 条 件 下 驱动 OLTP 工 作 负 载 并 进行 性 能 测试 。 我 们 使 用 了 
4 节点 全 闪存 架构 的 Virtual SAN 集 群 ， 分 别 在 每 台 主 机 上 部 署 1 台 SQL Server 虚 拟 机 ， 并 在 虚拟 机 下 分 别 对 200GB 数 据 库 和 
500GB 数 据 库 进行 性 能 测试 。 性 能 测试 工具 依旧 为 Benchmark Factory。 通 过 测试 ， 全 闪存 架构 Virtual SAN 集 群 中 的 4 台 虚 拟 
机 可 以 持续 获得 总 计 接近 8000 的 每 秒 交 易 数 (TPS) 一 去 重 /压缩 、 校 验 和 在 Virtual SAN 中 均 已 启用 。 全 闪存 架构 的 极致 性 能 使 
得 虚拟 磁盘 的 平均 读 写 延迟 稳定 在 1 毫秒 至 2 毫秒 之 间 。 这 意味 着 Virtual SAN 6.2 在 启用 所 有 空间 效率 提高 技术 的 情况 下 ， 仍 然 可 
以 获得 极 佳 的 性 能 。 


11.6.2 全 闪存 架构 Virtual SAN 性 能 


VMware Virtual SAN 每 台 主 机 的 磁盘 组 具体 配置 如 下 : 
- 缓存 层 SSD: 2X400GB E AF (Intel SSDSC2BA40) 
- 容量 层 SSD: 8X400GB B] AF (Intel SSDSC2BX40) 

每 台 测试 SQL Server 虚 拟 机 的 配置 : 

: Windows Setver2012R2 
A8 ERI C: 
- 200GB 数 据 库 : 总 共 分配 800GB 4& Jf] T 750GB 
- 500GB 数 据 库 : 总 共 分 配 1800GB ， 使 用 了 1600GB 


如 果 全 闪存 架构 Virtual SAN 未 启用 去 重 /压缩 与 校 验 和 功能 ， 如 图 11-37 所 示 。200GB 的 数据 库 每 秒 交 易 数 在 1905~ 1906; 
500GB 数 据 库 的 每 秒 交易 数 在 2051~2158。 如 果 启 用 去 重 /压缩 与 校 验 和 功能 ， 如 图 11-38 所 示 。200GB 的 数据 库 每 秒 交 易 数 在 
1850~1851; 500GB 数 据 库 的 每 秒 交 易 数 人 在 2092~2172。 


从 整个 集群 的 角度 ， 两 种 不 同 大 小 的 数据 库 在 Virtual SAN 集 群 中 进行 性 能 测试 可 以 达到 总 计 7965~8022 的 每 秒 交 易 数 。 我 
们 测 得 的 平均 磁盘 读 写 延迟 在 1~2 窜 秒 。 


在 表 11-20 中 ， 我 们 可 以 看 到 4 种 测试 场景 的 总 计 每 秒 交 易 数 在 7880 到 8022 之 间 。 


在 SQL Server 的 类 TPC-E 测 试 中 ,我们 最 关注 的 是 平均 磁盘 延迟 。 在 Virtual SAN 默 认 存 储 策 上 略 FTT = 1 的 情况 下 ， 各 场景 的 
Virtual SAN 磁 盘 读 取 延 迟 在 1.7~2.1 毫 秒 。 在 更 改 存 储 策略 ， 局 用 纠 删 码 一 RAID5 以 后 ， 平 均 磁盘 写 入 延迟 增加 到 4.4 毫 秒 。 在 
所 有 的 测试 场景 中 ， 平 均 磁盘 读 取 延迟 都 低 于 2 毫秒 。 
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图 11-37 ”未 局 用 去 重 /压缩 与 校 验 和 功能 时 每 台 虚 拟 机 的 每 秒 交 易 数 和 虚拟 磁 蔓 平均 读 写 延迟 
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图 11-38 ”启用 去 重 / 压 缩 与 校 验 和 功能 时 每 人 台 虚 拟 机 的 每 秒 交 易 数 和 虚拟 磁盘 平均 读 写 延迟 
表 11-20 ”4 种 不 同 测试 场景 下 的 具体 性 能 
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11.6.3 ”局 用 去 重 /压缩 和 EC (RAIDS) 策略 三省 空间 
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在 将 数据 库 部 署 到 启用 去 重 / 压 缩 和 纠 删 码 功能 的 全 闪存 架构 Virtual SAN 中 后 ， 我 们 测试 了 结构 化 数据 (类 OLTP/TPC-E 数 
据 库 ) 的 空间 存储 下 降 。 


去 重 / 压 缩 : 去 重 /压缩 瓜 术 会 以 每 个 磁盘 组 为 单位 进行 应 用 ， 该 技术 会 对 各 种 不 同类 型 的 数据 进行 去 重 。 


纠 删 码 : 在 Virtual SAN6.2 之 前 ， 当 用 户 部 署 100GB 的 虚拟 机 并 将 虚拟 机 存储 策略 的 FTT 设 置 为 1 时 ， 需 要 消耗 Virtual SAN 
数据 存储 200GB 的 存储 空间 。 在 纠 删 码 技术 引入 Virtual SAN6.2 后 ， 消 耗 的 容量 可 以 降低 很 多 。 例 如 ， 当 配置 成 3 + 1 的 RAID5 
时 ， 只 需要 消耗 1.3 倍 的 存储 空间 ; 当 配 置 成 4+ 2 的 RAID6 时 ， 只 需要 消耗 1.5 倍 的 存储 空间 。 


为 了 测量 真实 OLTP 数 据 库 环境 部 署 后 的 空间 书 省 ， 我 们 在 全 闪存 架构 Virtual SAN 集 群 中 部 署 了 5 台 虚 拟 机 ， 其 中 两 台 虚 拟 
机 每 台 托 管 200GB 的 数据 库 ， 两 台 虚 拟 机 每 谷 托管 500GB 的 数据 库 ， 剩 下 一 人 台 作 为 域 控制 器 。 


部 署 200GB 数 据 库 的 虚拟 机 实际 消耗 了 680GB 的 存储 空间 (100GB 的 操作 系统 ，2x200GB 数 据 盘 ，1x100GB 日 志 盘 以 及 
1x80GB 的 临时 数据 盘 ) ; 部署 500GB 数 据 库 的 虚拟 机 实际 消耗 了 1360GB 的 存储 空间 (100GB 的 操作 系统 ，4x250GB 数 据 
盘 ，1x100GB 日 志 盘 以 及 2x80GB 的 临时 数据 盘 ) ;部署 域 控制 器 虚拟 机 消耗 了 100GB 的 存储 空间 . 


{Virtual SAN 的 默认 存储 策略 下 ， 部 署 空间 超过 8TB。Virtual SAN 估 算 在 部 署 后 的 物理 写 入 空间 大 概 需要 5050GB。 当 启 
用 去 重 /压缩 功能 ， 使 用 精简 置 备 部 署 ? 台 虚拟 机 后 ， 实 际 的 空间 使 用 为 2020GB。 去 重 /压缩 比率 大 约 在 2.27 倍 。 在 局 用 RAID5 
后 ， 实 际 的 空间 使 用 下 降 为 1900GB， 去 重 / 压 缩 比 率 大 约 在 2.66 倍 。 


需要 说 明 的 是 ， 去 重 和 压缩 特性 需要 占用 存储 空间 以 存储 元 数据 ， 在 本 测试 案例 中 的 空间 消耗 大 约 为 630GB。 


图 11-39 所 示 为 SQL Server 虚 拟 机 部 署 时 不 同 空 间 效率 提高 扩 术 的 空间 节省 率 
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图 11-39 SQL Server 虚 拟 机 部 署 时 不 同 空间 效率 提高 技术 的 空间 节省 率 


与 此 同时 ， 我 们 将 Virtual SAN 的 去 重 /压缩 比率 与 数据 库 原生 的 压缩 功能 做 了 性 能 对 比 : 使 用 200GB 数 据 库 测 量 去 重 /压缩 
功能 与 其 原生 ROW 和 页 面 压 缩 的 性 能 如 图 11-40、 图 11-41 所 示 。 


通过 对 比 数据 库 的 原生 压缩 方式 ， 数 据 在 Virtual SAN 上 的 空间 市 省 率 比 ROW 级 别 的 数据 库 压缩 (40.62%) 更 高 ， 但 是 低 
于 页 面 压 缩 的 58.49%。 但 是 Virtual SAN 空 间 效 率 提高 技术 可 以 与 数据 库 自 市 的 压缩 功能 同时 使 用 。 全 闪存 架构 Virtual SAN 的 
去 重 /压缩 优势 之 一 在 于 它 是 存储 级 别 的 特性 ， 不 需要 对 数据 进行 修改 和 操作 即 可 实现 。 
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图 11-40 ”启用 数据 库 自 市 压缩 功能 的 空间 占用 
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图 11-41 启用 去 重 / 压 缩 功 能 的 空间 占用 


Virtual SAN6.2 对 最 新 的 全 内 存 存储 进行 了 性 能 优化 ， 加 入 了 高 效 的 去 重 /压缩 和 纠 删 码 功 能 。 在 提供 无 与 伦比 性 能 的 同 
时 ， 进 一 步 降 低 了 忌 体 拥有 成 本 (TCO) 。 通 过 测试 与 验证 ， 我 们 确保 Virtual SAN6.2 已 经 为 运行 在 微软 SQL Server 上 的 任何 
应 用 做 好 了 准备 。 


11.7 本 章 小 结 


本 章 通 过 AlwaysOn 数 据 库 高 可 用 组 同步 提交 模式 下 ，SQL Server 数 据 库 组 在 行业 标准 OLTP 工 作 负载 下 的 测试 结果 表 
BH, Virtual SAN 作 为 统一 存储 平台 的 可 扩展 性 与 高 性 能 。 通 过 一 系列 场景 ( 单 盘 故障 ， 磁 盘 组 故障 ， 主 机 故障 ) 的 证 
，Virtual SAN 拥 有 的 高 可 用 性 可 以 支持 运行 关键 应 用 。 


HH 


Virtual SAN 延 伸 集群 使 用 户 可 以 通过 高 带宽 低 延 迟 网 络 将 现存 的 Virtual SAN 人 存储 延展 至 地 理 上 分 散 的 不 同 数据 中 心 。 
Virtual SAN 延 伸 集群 提供 了 双 活 存储 ， 并 且 通 过 方案 验证 表明 ，Virtual SAN 延 伸 集 群 能 够 在 可 接受 的 性 能 条 件 下 运行 关键 应 
用 。 


Site Recovery Manager, Virtual SAN 集 群 、 延 伸 集群 以 及 vSphere Replication 针 对 SQL Server AlwaysOn 可 用 性 组 提供 
了 低 成 本 灾难 恢复 解决 方案 。 


vSphere Data Protection 针 对 Microsoft SQL Server 提 供 了 简单 、 易 于 管理 的 解决 方案 ， 并 又 持 多 种 粒度 的 备份 方案 ， 包 
括 : 数据 库 、 可 用 性 组 、 应 用 服务 器 、 镜 像 级 别 备份 和 恢复 ， 验 证 了 通过 vSphere Data Protection 可 对 数据 库 组 有 效 去 重 备份 
和 恢复 。 


在 本 章 最 后 ， 提 供 了 SQL Server 在 Virtual SAN6.2 上 的 最 新 测试 数据 ， 着 重 验 证 了 Virtual SAN6.2 的 新 功能 一 去 重 /压缩 、 
纠 删 码 以 及 校 验 和 。 


第 12 章 ”基于 VMware 混合 架构 Virtual SAN 的 Oracle RAC 最 佳 实践 


12.1 ”业务 案例 


1.73389; 


本 方案 验证 了 混合 以 构 Virtual SAN 在 Oracle RAC 环 境 中 运行 基于 业界 标准 类 TPC-C 工 作 负 载 的 能 力 。Virtual SAN 能 够 确 
保 运行 OLTP 工 作 负 载 的 Oracle RAC 数 据 库 性 能 满足 服务 等 级 要 求 。 与 此 同时 本 最 佳 实践 也 提供 高 可 用 性 和 灾难 恢复 解决 方案 。 


2. 重 要 结论 
本 方案 针对 Oracle RAC 做 了 以 下 设计 和 验证 工作 : 
- 验证 了 企业 级 的 Oracle11g R2RAC 数 据 库 运行 在 Virtual SAN 上 的 存储 性 能 ， 可 扩展 性 以 及 应 对 故障 的 弹性 性 能 。 


- 验证 了 Virtual SAN 延 促 集 群 支持 Oracle RAC 的 跨 站 点 部 署 ， 以 及 Virtual SAN 延 伸 集 群 应 对 故障 弹性 能 力 和 易于 部 署 的 优 
势 。 


- itso A Virtual SAN 2TH HE BE Fe HK JA] Oracle Data Guatd， 提 供 了 两 地 三 中 心 的 可 用 性 解决 方案 ， 对 该 Otacle 灾 备 方案 进行 了 


验证 。 


- 结合 Otacle RMAN, Virtual SAN 有 能 力 提 供 对 生产 业务 影响 最 小 的 业务 连续 性 解决 方案 。 


第 12 普 ”基于 VMware 混合 架构 Virtual SAN 的 Oracle RAC 最 住 实践 


12.1 ”业务 案例 


1.73389; 


本 方案 验证 了 混合 架构 Virtual SAN 在 Oracle RAC 环 境 中 运行 基于 业界 标准 类 TPC-C 工 作 负 载 的 能 力 。Virtual SAN 能 够 确 
保 运行 OLTP 工 作 负 载 的 Oracle RAC 数 据 库 性 能 满足 服务 等 级 要 求 。 与 此 同时 本 最 佳 实践 也 提供 高 可 用 性 和 灾难 恢复 解决 方案 。 


2. 重 要 绪论 
本 方案 针对 Oracle RAC 做 了 以 下 设计 和 验证 工作 : 
| 验证 了 企业 级 的 Oracle11g R2RAC 数 据 库 运行 在 Virtual SAN 上 的 存储 性 能 ， 可 扩展 性 以 及 应 对 故障 的 弹性 性 能 。 


- ISTE T Virtual SAN 2 4h 42 BF ¥ HOracle RAC 的 跨 站 点 部 署 ， 以 及 Virtual SAN 延 伸 集 群 应 对 故障 弹性 能 力 和 易于 部 署 的 优 
E 


- 通过 部 署 Vittual SANE e HE BE Fe HK JA] Oracle Data Guard， 提 供 了 两 地 三 中 心 的 可 用 性 解决 方案 ， 对 该 Oracle 灾 备 方案 进行 了 


验证 。 


结合 Oracle RMAN, Virtual SAN 有 能 力 提 供 对 生产 业务 影响 最 小 的 业务 连续 性 解决 方案 。 


12.2 NERA 


1.Oracle11g R2RAC 


Oracle RAC 是 构建 在 高 可 用 性 堆栈 集群 上 的 Oracle 数 据 库 ， 可 以 用 来 作为 数据 库 云 系统 的 基础 ， 也 是 一 个 共享 的 基础 设 
施 ， 确 保 高 可 用 性 ， 可 扩展 性 ， 敏 捷 性 ， 其 适用 于 任何 应 用 。 


在 Oracle RAC 环 境 中 ，Oracle 数 据 库 运行 在 两 个 或 多 个 系统 上 ， 并 访问 一 个 共享 的 数据 库 。 其 结果 是 单一 的 数据 库 系 统 跨 
越 多 个 硬件 系统 ， 使 Oracle RAC 在 集群 故障 时 提供 高 可 用 和 允 余 特性 。 其 使 那些 通过 网 络 相互 连接 到 共享 访问 Oracle 数 据 库 的 
Oracle RAC 能 够 支持 从 只 读 的 数据 仓库 系统 ， 到 更 新 密集 型 OLTP 系 统 在 内 的 所 有 系统 类 型。 


2.Oraclegi£[(RRAC (Extended RAC) 


OraclegiE{RAC UAB Sat acte tt SR SR) n]SETE, OraclesiE(RRACBESE ud ai PIRES, TETCYEPITESBROS RSF 
为 单一 数据 库 集 群 的 一 部 分 在 线 处 理 用 户 事 务 。 由 于 距离 市 来 的 延迟 ， 会 造成 Oracle 延 伸 RAC 的 部 署 限 制 。 所 以 该 以 构 适 用 于 
两 个 站 点 相对 距离 较 近 ， 并 且 专 有 网 络 通道 建设 好 的 情况 。 


3.Oracle Data Guard 


Oracle Data Guard 通 过 创建 和 维护 一 个 或 多 个 备份 数据 库 ， 提 供 了 管理 、 监 控 和 自动 化 保护 Oracle 数 据 库 的 能 力 ， 从 而 如 
兔 了 由 于 管理 员 错 误 操 作 ， 系 统 或 者 软件 层面 的 故障 而 导致 的 数据 库 损坏 ， 或 者 整个 站 点 的 故障 而 影响 数据 库 的 可 用 性 。 如 果 主 
生产 系统 不 能 维护 关键 应 用 的 高 可 用 ， 那 么 数据 库 管 理 员 可 以 选择 手动 或 者 自动 切换 到 备用 系统 。 


单 用 的 备用 数据 库 有 两 种 类 型 : 


1) 物理 备用 数据 库 使 用 Redo Apply 来 维护 主 数据 库 到 备用 数据 库 的 块 到 块 备份 。 物 理 备用 数据 库 为 Oracle 数 据 库 提供 了 
最 佳 的 灾 备 保护 。 在 本 方案 的 设计 和 验证 中 ， 我 们 使 用 了 该 种 类 型 的 备用 数据 库 。 


2) 第 二 种 备用 数据 库 是 使 用 SQL Apply 来 维护 主 数据 库 的 逻辑 副本 。 逻 辑 备用 数据 库 和 主 数据 库 售 有 同样 的 数据 ， 而 数据 
库 的 物理 组 织 形式 或 者 数据 结构 有 可 能 并 不 相同 。 


Oracle Active Data Guard: Oracle Active Data Guard 通 过 将 资源 访问 频繁 的 操作 从 主 生产 数据 库 卸 载 到 一 个 或 者 多 个 
同步 的 备用 数据 库 上 ， 从 而 提高 生产 数据 库 的 服务 质量 (QoS) 。 随 着 Oracle Active Data Guard 的 推出 ， 物 理 备 用 数据 库 可 
以 用 于 实时 报告 查询 ， 同 时 保证 了 生产 数据 和 用 于 产生 报告 的 数据 乙 间 的 最 小 数据 差 延 迟 。 此 外 ，Oracle Active Data Guard 
同样 支持 通过 计划 内 执行 或 者 非 计划 灾 难 时 自动 切换 到 备用 系统 的 方式 ， 保 证 了 生产 站 点 的 数据 高 可 用 和 灾 备 保护 功能 。 


4.Oracle RMAN 


Oracle 恢 复 管 理 器 (RMAN) 为 有 效 备 份 和 恢复 Oracle 数 据 库 提供 了 全 面 的 解决 方案 。 完 整 的 高 可 用 和 灾 备 策略 需要 可 靠 
的 数据 备份 、 恢 复 和 相应 的 还 原 流程 。RMAN 能 够 与 服务 器 协作 ， 在 数据 库 备 份 过 程 中 提供 块 级 别 的 数据 监测 。RMAN 通 过 文 
件 多 路 传输 和 备份 集 压 缩 ， 优 化 备份 性 能 ， 节 省 空间 使 用 ， 并 能 与 第 三 方 磁 市 媒介 管理 产品 集成 。 


12.3 在 Virtual SANER RF LA Oracle RRAC 


12.3.1 概述 


Oracle RAC 主 要 设计 用 于 单一 数据 中 心 的 可 扩展 和 高 可 用 解决 方案 。 与 之 相对 应 的 是 ， 在 一 个 Oracle 扩 展 RAC 中 ， 节 点 分 
布 在 不 同 地 理 位 置 。 举 例 来 说 ， 客 户 希 望 在 园区 网 络 的 不 同 建筑 环境 中 部 署 Oracle RAC 节 点 。 相 对 于 传统 的 Oracle RAC， 这 种 
配置 能 够 提供 更 高 级 别 的 灾难 容忍 能 力 。 因 为 ， 如 果 配 置 得 当 ， 一 个 建筑 的 供电 中 断 或 者 帮 生 火灾 并 不 会 令 数 据 库 停止 服务 。 类 
似 地 ， 许 多 用 户 建 有 两 个 通过 高 速 链 路 互联 的 数据 中 心 ， 通 常 这 两 个 数据 中 心 有 不 同 的 供电 基础 或 者 地 理 因 素 。 和 希望 能 通过 有 类 
似 的 灾 备 能 力 来 避免 数据 库 停 止 服务 。 


为 了 部 置 此 类 基础 染 构 ，RAC 市 点 被 部 署 在 地 理 位 置 分 散 的 站 点 上 ， 从 而 保护 Oracle 数 据 库 不 受 本 地 证 点 故障 的 影响 。 在 
存储 设计 的 时 候 也 需要 类 似 的 设计 考虑 。 


Virtual SAN 延 伸 集 群 通过 Virtual SAN 的 故障 域 设计 概念 ， 从 功能 本 质 上 就 提供 了 适用 于 Oracle RAC 的 存储 解决 方案 。 
Virtual SAN 延 伸 集群 能 确保 双 份 数据 拷贝 的 第 一 份 在 其 中 一 个 站 点 (或 者 数据 中 心 ) ， 而 第 二 份 拷贝 存储 在 另 一 个 站 点 (或 者 
数据 中 心 ) 。 而 见证 组 件 总 是 存放 在 第 三 个 站 点 (见证 站 点 ) 。 


部 署 在 Virtual SAN 延 伸 集群 上 的 虚拟 机 存储 副本 一 份 在 站 点 A， 另 一 份 在 站 点 B， 而 所 有 见证 组 件 都 存放 在 站 点 C 的 见证 主 
机 上 。 该 配置 是 通过 故障 域 来 实现 的 。 在 任意 一 数据 站 点 完全 故障 发 生 的 时 候 ， 仍 然 可 以 保证 有 一 份 数据 能 正常 访问 ， 并 且 有 大 
于 50% 的 组 件 是 可 靠 的 ， 从 而 确保 存放 在 Virtual SAN 数 据 存储 的 虚拟 机 正常 运行 。 VMware vSphere 高 可 用 特性 可 以 确保 受 影 
响 的 虚拟 机 在 另 一 个 不 受 影响 的 数据 站 点 重启 ， 并 继续 提供 服务 。 


在 安装 配置 上 ，Oracle 扩 展 RAC 和 传统 Oracle RAC 并 无 区 别 。 我 们 需要 确保 基础 架构 准备 就 绪 ， 从 而 使 得 跨 站 点 搭建 RAC 
对 Oracle RAC 数 据 库 是 透明 的 。 简 单 来 说 ， 由 底层 的 Virtual SAN 延 伸 集 群 提 供 数 据 的 跨 站 点 镜像 功能 ， 从 而 维持 对 应 用 数据 库 
的 透明 性 。 


12.3.2 ”部 署 Virtual SAN 延 伸 集 群 的 注意 事项 


Virtual SAN 延 伸 集群 使 得 用 户 可 以 搭建 双 活 数据 中 心 。 结 合 Virtual SAN 的 Oracle 扩 展 RAC 使 得 站 点 间 共 享 同一 数据 库 访 
问 ， 同 时 提供 了 迁移 工作 负载 或 者 平衡 工作 负载 的 灵活 性 ， 从 而 满足 按 计划 对 硬件 进行 维护 的 期 望 。 此 外 ， 在 其 中 一 个 站 点 友 生 
非 计 划 停 机 而 造成 服务 中 断 的 情况 下 ， 通 过 Oracle 透 明 应 用 切换 功能 (TAF) 连接 到 故障 站 点 的 客 尸 端 操 作 可 以 透明 地 目 动 转 同 
存活 站 点 。 同 时 ， 如 果 配 置 了 VMware HA, Oracle RAC 虚 拟 机 能 够 在 存活 站 点 上 重启 ， 从 而 提供 弹性 服务 。 


12.3.3 ” Oracle 和 集群 组 件 和 Virtual SAN 征 仲 集群 见 证 的 部 团 


Oracle 集 群 组 件 使 得 多 个 服务 器 协同 工作 ， 如 同一 从 服务 器 一 样 。 该 组 件 是 运行 Oracle RAC 的 先决 条 件 。Oracle 集 群 组 件 
需要 两 个 组 件 : 一 个 是 记录 书 点 成 员 信息 的 选举 磁盘 ， 另 一 个 是 记录 集群 配置 信息 的 Oracle 集 群 注册 表 (OCR) 。 选 举 磁盘 和 
集群 注册 表 必 须 存 放 在 共享 磁盘 上 。 部 署 Oracle 扩 展 RAC 强 调 部 署 第 三 个 站 点 ， 用 于 存放 Oracle RAC 选 举 磁盘 信息 (一 般 存 放 
于 NFS 上 ) 。 选 举 磁盘 信息 用 作 站 点 或 者 链 路 失效 时 的 仲裁 。 更 多 信息 请 参见 : (Oracle RAC and Oracle RAC One Node on 
Extended Distance (Stretched) Clusters) , 


然而 ， 若 Oracle 扩 展 RAC 部 署 在 Virtual SAN 延 伸 集群 上 ， 集 群 选举 磁盘 都 人 存放 在 Virtual SAN 延 伸 集 群 的 数据 存储 上 ， 
而 不 需要 额外 部 署 NFS9。Virtual SAN 延 伸 集群 的 见证 单独 部 署 在 第 三 站 点 上 (或 者 按照 故障 域 定义 在 同一 建筑 的 不 同 楼 层 
上 ) 。 这 种 部 署 方式 保证 了 Oracle 选 举 磁 盘 能 够 被 Oracle RAC 访 问 ， 同 时 Virtual SAN 延 伸 集群 在 脑 裂 情 形 下 能 够 正常 提供 服 


m 


随 着 Oracle 数 据 库 11g R2 的 推出 ， 集 群 组 件 被 合并 到 Oracle ASM 中 ， 用 于 创建 Oracle 网 格 基础 架构 。 在 Oracle 网 格 基础 
架构 安 半 时 融会 创建 第 一 个 ASM 磁 盘 组 。 我 们 推荐 使 用 Oracle ASM 和 存储 ORACLE 集 群 件 文件 (OCR 和 表决 磁盘 信息 ) ， 并 使 用 


单独 的 ASM 磁 盘 组 存放 ORACLE 集群 件 文件 。 因 为 Virtual SAN 集 群 能 创建 磁盘 组 件 副本 ， 并 能 保护 数据 可 靠 性 。 因 此 ， 我 们 推 
荐 在 Virtual SAN 延 伸 集 群 上 为 ORACLE 集群 件 文件 创建 ASM 磁 盘 组 时 ， 使 用 外 部 宛 余 方 式 。 
12.3.4 网 络 分 区 时 的 行为 表现 


在 Oracle 网 络 互联 出 现 分 区 时 ，Oracle 集 群 组 件 会 基于 多 数 节 点 和 共享 表决 盘 进行 投票 ， 进 行 目 我 重新 配置 。 当 Virtual 
SAN 延 伸 集群 上 太 生 网 络 分 区 时 ，Virtual SAN 从 可 靠 站 点 继续 提供 IO 服务 。Oracle 仅 从 Virtual SAN 延 伸 集 群 提供 10 的 站 点 访问 
表决 磁盘 ， 从 而 使 得 Oracle 集 群 组 件 会 基于 多 数 节 点 和 共享 表决 盘 进 行 投票 ， 进 行 自我 重新 配置 。 昌 然 Oracle 扩 展 RAC 需 要 表 
决 磁盘 ， 但 用 户 并 不 需要 将 它们 部 署 在 第 三 站 点 。 这 是 因为 Virtual SAN 延 伸 集 群 见证 提供 了 针对 脑 裂 情形 的 保护 ， 并 能 保证 
Virtual SAN 延 伸 集 群 和 Oracle 集 群 司 配合 运行 。 


12.3.5 SEE 


使 用 Virtual SAN 延 伸 集群 部 署 Oracle 扩 展 RAC 可 以 带 来 如 下 好 处 : 
: 两 个 数据 站 点 的 计算 和 存储 资源 平衡 分 布 ， 并 且 能 提供 可 扩展 的 参考 架构 。 
- 延伸 距离 部 署 ， 成 本 可 控 的 基于 服务 器 SAN 解 决 方案 。 
部 署 简便 的 Oracle 扩 展 RAC。 
: 减少 基于 主机 的 数据 镜像 对 Oracle 扩 展 RAC 节 点 的 CPU 需 求 。 
. 消除 在 第 三 站 点 部 署 Otacle 服 务 器 和 集群 组 件 。 


- 由 VMwate 提 供 的 基于 Appliance 的 预 配 置 见 证 主机 ， 部 署 简 便 ， 用 于 在 第 三 站 点 提供 Vittual SAN 延 伸 集 群 部 署 见证 服 


Aw 


- J£ Virtual SANAE 4e EB SR ZOraclete RBA, MILT ARARE GR. (EE Ob h ANES BEM HA. 
- Virtual SAN 延 伸 集 群 部 署 简便 ， 无 须 额 外 的 软件 或 者 硬件 介入 。 


- Virtual SAN 延 促 集 群 部 署 能 集成 VMware 其 他 软件 特性 ， 如 vSphere vMotion#evSphere HA. 


12.4 万 案 配 置 


本 书 将 介绍 解决 方案 中 使 用 到 的 软 硬 件 资 源 和 配置 信息 : 


- 硬件 资源 
软件 资源 
- 网 络 配 置 


- VMware ESXi 主 机 或 服务 器 


: Virtual SAN EG & 


: Oracle 真 正 应 用 集群 (RAC) 虚拟 机 和 数据 库存 储 配 置 


12.4.1 架构 图 


如 图 12-1 所 示 ， 设 计 适 用 于 Oracle RAC 的 Virtual SAN 集 群 的 关键 点 如 下 : 
4 节点 的 Virtual SAN 集 群 : 每 个 节点 含有 两 个 磁盘 组 ， 每 个 磁盘 组 由 5 个 1.2TB 的 HDD 和 一 个 800GB 的 SSD 组 成 。 


4 个 Oracle 企 业 版 虚拟 机 : 每 个 ESXi 主 机 上 运行 一 个 Oracle RAC 庶 机 ， 每 个 上 庶 机 配 有 8 个 vCPU 和 064GB 内 存 ， 其 中 28GB 内 存 


分 配给 Oftacle 的 系统 全 局 区 (SGA) ， 数 据 库 大 小 为 350GB。 


Swingbench 
Generate Oracle 


4-Node Oracle RAC Workload 
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ORACLE ORACLE COIS/AACCL. GG 
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119 RAC RAC | 11g RAC RAC 11g RAC RAC 


VM4 - RAC Node 4 





图 12-1 运行 Oracle RAC #4) Virtual SAN 4 ££ 


如 图 12-2 所 示 ， 设 计 适 用 于 Oracle 扩 展 RAC 的 Virtual SAN 延 伸 集 群 的 关键 点 如 下 : 


- Virtual SAN3£ 4 4E 8E dg 5 6 ESXi E HUA (形成 2 十 2 十 1 的 构建 方式 ) 。 站 点 A 和 站 点 B 各 由 两 台 ESXi 组 成 。 每 台 ESXi 主 机 
都 拥有 两 个 磁盘 组 。 每 个 磁 盘 组 由 5 块 1.2TB 的 HDD 和 一 块 800GB 的 SSD 组 成 。Virtual SANAE 4e Æ AE JL 3E SE S, (站 点 C) 部 署 了 一 


台 见 证 虚拟 机 。 


- 站 点 A 和 站 点 B 各 有 两 个 企业 版 Oracle 虚 拟 机 形成 Oracle 扩 展 RAC。 每 台 ESXi 主 机 上 运行 一 个 Oracle RAC 虚 拟 机 ， 每 个 虚拟 
机 拥有 8 个 vCPU 和 64GB 内 存 ， 其 中 28GB 内 存 分 配给 Otacle 的 系统 全 局 区 (SGA) ， 数 据 库 大 小 为 350GB。 


12.4.2 ”硬件 资源 


表 12-1 所 示 为 本 最 佳 实践 使 用 的 硬件 资源 。 
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图 12-2 ”运行 Otacle 扩 展 RAC 的 Virtual SANAE 4 4E BE 
表 12-1 硬件 资源 


方案 组 件 i 置 
Virtual SAN 4 4 ESXi 主机 
Virtual SAN 延伸 集群 解决 方案 (2 十 2 十 1 ESXi 主机 
远 端 站 点 一 一 灾 备 站 点 Virtual SAN 集群 使 用 Data Guard 解决 方案 3 台 ESXi 主机 


ESXi 服 务 器 配置 


如 图 12-3 所 示 ， 在 VMware SAN 中 ， 每 台 VMware ESXi 服 务 器 含有 以 下 配置 : 


2 x SSD 
X86 机 染 服 务 器 : — = 
* CPU: 2 F848, 每 个 插 覃 20 个 核 p" 


* RAM: 512GB i (EX. 10xSAS HDD 


« a QU 2 x 106b NIC 


2 x SAS/SATA Controllers (RAID Controllers 
= must work in “pass-through” or RAIDO” 
P a 


mode) 





图 12-3 VMware ESXi 服 务 器 配置 


12.4.3 ”软件 资源 
表 12-2 所 示 为 本 最 佳 实践 使 用 的 软件 资源 。 
表 12-2 ”软件 资源 


软 件 
Oracle 企业 版 Linux 


用 途 
Oracle 数据 库 服务 需 节 点 软件 


ESXi 集群 ， 用 于 提供 虚 机 计算 资源 和 Virtual 
SAN Cluster 集群 。 由 vCenter 提供 统一 资源 管理 


超 融 合 基础 架构 的 软件 定义 存储 解决 方案 


VMware vCenter Server ESXi 6.0 Ul 


VMware Virtual SAN 


Oracle 11gR2 网 格 基础 架构 11.2.0.4 


Oracle Workload Generator Swingbench 2.5 


Linux Netem OEL 6.6 


ah 
+ 


XORP (开源 路 由 ) 


一 一 
oo 
LA 


Oracle 数据 库 和 集群 软件 

产生 Oracle 工作 负载 

模拟 Virtual SAN 延伸 集群 站 点 间 的 延迟 
启用 路 由 功能 ， 使 得 Virtual SAN 延伸 集群 通 


过 多 播 路 由 在 站 点 间 通 信 


1244 网 络 配置 


在 集群 配置 中 ， 配 置 一 个 VMware vSphere 分 布 式 交 换 机 作为 跨越 所 有 ESXi 主 机 的 虚拟 交换 机 。 
机 迁移 时 ， 维 持 网 络 配置 不 变 。vSphere 分 布 式 交换 机 上 添加 了 每 个 主机 的 两 块 10Gbps 以 太 了 网卡。 


该 配置 允许 虚拟 机 在 跨 主 


其 端口 设置 如 图 12-4 所 示 。 


Oracle Private Oracle Public Virtual SAN vMotion VLAN 
VLAN 4033 VLAN 1100 VLAN 4030 4035 
A ` 
` ^ X 


^ 
` ‘ \ 


Virtual Distributed Switch 





图 12-4 vSphere 分 布 式 交换 机 端口 设置 
vSphere 分 布 式 交换 机 在 每 个 ESXi 主 机 上 的 配置 结果 如 图 12-5 所 示 。 
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图 12-5 vSphere 分 布 式 交 换 机 在 每 个 ESXi 主 机 上 的 配置 结果 


端口 组 定义 了 安全 、 流 量 整 形 和 NIC teaming 等 属性 。 本 最 佳 实 践 除 了 使 用 默认 设置 外 ， 还 进行 了 以 下 人 额外 配置 。 表 12-3 
显示 了 vsSphere 分 布 式 交 换 机 不 同 疾 口 组 的 不 同 功能 ， 以 及 不 同 Uplink 的 活跃 和 备用 Uplink 的 功能 说 明 。 


表 12-3 AA KRAUL VA 


TT uud 
Oracle 私有 网 络 (RAC Interconnect) Uplink2 
Oracle 共有 至 网 络 oo | Uplinl | Uplink2 


12.4.5 “ESXi 存 储 控制 器 模式 


在 本 最 佳 实践 中 ， 人 存储 控制 器 使 用 直通 模式 。 直 通 模式 是 VMware Virtual SAN 的 首选 模式 ， 它 使 得 Virtual SAN 能 够 完全 
对 本 地 SSD 或 者 HDD 进 行 控 制 ， 在 更 换 磁 盘 方 面 带 来 极 大 便利 。 


12.4.6 Virtual SANAE 


Virtual SAN 可 以 设置 每 台 虚 拟 机 的 可 靠 性 、 容 量 和 性 能 策略 。 表 12-4 所 示 为 在 本 万 案 中 实际 及 用 的 存储 策略 ， 其 余 策 略 均 
KAREME. 


12-4 为 Oracle 数 据 库 设置 的 Virtual SAN 存 储 策 略 


存储 策略 设 定 
允许 的 故障 数 (FTT) | 
每 个 对 象 的 磁盘 条 带 数 量 2 
闪存 绥 存 预 留 百分比 0% 
对 和 象 空间 预 留 百 分 比 100% 


12.4.7 Oracle RAC 虚 拟 机 和 数据 库存 储 配 置 


每 个 Oracle RAC 虚 拟 机 都 安 六 了 Oracle 企 业 版 Linux6.6， 并 配置 了 8 个 vVCPU 和 64GB 内 存 。 在 所 有 测试 中 ， 除 非特 别 声明 ， 
否则 所 有 配置 均 基于 该 设 定 。 


Oracle ASM 数 据 磁盘 组 使 用 外 部 元 余 方 式 配 置 。 分 配 单 元 为 1MB。 数 据 、 快 速 恢 复 区 (FRA) 和 重 做 日 志 的 ASM 磁 盘 组 使 
用 不 同 的 虚拟 PVSCSI 控 制 器 。 归 档 日 志保 存 区 使 用 FRA 磁 盘 组 。 表 12-5 为 Oracle RAC 虚 拟 机 磁盘 配置 和 和 ASM 磁 盘 组 配置 信息 
WiBB. 


表 12-5 Oracle RAC 庶 拟 机 磁盘 配置 和 ASM 磁 盘 组 配置 信息 说 明 


g 磁盘 大 小 
虚 机 磁盘 SCSHEMB | (Gp)xVMDK 数量 | 总 容量 大 小 (GB) | ASM 磁盘 组 


OS Ai Oracle THE SCSI0 xi | 00 [E 


Database 数据 文件 磁盘 [o eS Data 
Online TERT d Le e Le — 


12.4.8 ”配置 Oracle 存 储 


: Oracle RAC 需 要 给 一 个 或 者 多 个 Oracle 虚 拟 机 添加 共享 磁盘 ， 该 操作 需要 对 所 有 虚拟 机 和 VMDK 启 用 multi-writer。 该 操作 


是 为 了 使 客户 系统 能 够 使 用 集群 感知 的 文件 系统 。 
创建 应 用 于 Oracle RAC 的 虚拟 机 存储 策略 。 表 12-5 是 本 最 佳 实践 中 使 用 的 Virtual SAN 存 储 策 略 。 
. 使 用 厚 备 置 替 和 独立 永久 模式 创建 共享 虚拟 磁盘 。 
` 给 一 个 或 者 多 个 虚拟 机 添加 共享 磁盘 。 
- 在 添加 的 共享 磁盘 上 应 用 虚拟 机 存储 策略 。 


关于 所 有 虚拟 机 和 VMDK 启 用 multi-writer 的 详细 信息 ， 参 见 《VMware KB2121181》。 


12.5 万 案 验 证 


本 最 佳 实践 基于 Virtual SAN 设 计 ， 并 部 署 了 Oracle11g R2RAC。 方 案 聚 焦 于 易 用 性 、 性 能 、 弹 性 和 高 可 靠 。 本 节 对 测试 方 
法 论 、 流 程 和 每 个 测试 场景 的 结果 进行 了 说明 。 


12.5.1 Ji ZR 


本 方案 验证 了 Oracle11g R2RAC 部 署 企 VMware 环境 下 基于 Virtual SAN 和 存储 的 数据 库 性 能 和 功能 特性 。 
方案 测试 包括 以 下 几 个 方面 : 

: 使 用 Swingbench 产 生 业 界 标准 的 基于 订单 的 类 TPC-C 工 作 负 和 载 ， 测 试 数据 库 和 Virtual SAN 性 能 

- AT Virtual SAN 存 储 的 成 本 可 控 的 存储 解决 方案 ， 用 于 支持 企业 级 Oracle RAC 的 高 扩展 性 。 


. Æ F Virtua SAN 44% &] Oracle RAC。 


12.5.2 测试 和 性 能 收集 工具 


我 们 使 用 Swingbench 生 成 类 TPC-C 的 在 线 交易 系统 (OLTP) 工作 负载 。Swingbench 是 用 来 测试 Oracle 数 据 库 的 工作 负 
载 生成 器 ， 包 括 产 生 数 据 库 样 本 集 和 生成 负载 。Oracle RACHA SREP ima Bile] (SCAN) ， 配 置 DNS 和 3 个 IP 地 


HE, BS um üp ta Vine PET AS Fm RE Ray Stee IG. Bé-B Pima eles PL Sata BSS 
Pitt. 


性 能 收集 工具 包括 以 下 几 种 : 
: Virtual SAN Observer。 


: esxtop o 


带 有 数据 库 诊 断 监 控 的 DOtacle AWR: 自动 数据 库 诊断 监视 器 (ADDM) 是 一 个 收集 、 处 理 、 维 护 Oracle 性 能 统计 信息 、 提 
供 问题 探测 和 自我 调 优 的 工具 。 该 工具 同时 能 产生 Oracle 性 能 分 析 报 告 。 自 动 数据 库 诊断 监视 器 能 分 析 AWR 数 据 ， 识 别 潜在 的 性 


pp 


能 “瓶颈 ”。 然 后 依据 Oracle 的 知识 库 定位 性 能 问题 的 生成 原因 ， 并 提出 推荐 的 解决 方案 。 
12.5.3 Virtual SAN 的 Oracle RAC 性 能 
1 .测试 综述 


本 方案 验证 了 部 署 运行 在 Virtual SAN 上 的 Oracle RAC 性 能 ， 通 过 Swingbench 生 成 类 TPC-C 的 在 线 交 易 系 统 的 工作 负载 来 
验证 性 能 。 我 们 在 4 节点 的 Oracle RAC 上 配置 了 100 个 用 户 会 话 (session) 。 图 12-6 所 示 为 方案 配置 细节 。 


Swingbench 
Generate Oracle 


4-Node Oracle RAC Workload 
Cluster 





ORACLE 
Database 


11g RAC 


Linux 


VM4 - RAC Node 4 





图 12-6 477 & Oracle RAC 集 群 方案 配置 细节 


2. 测 试 结果 


方案 验证 显示 ，Swingbench 最 大 能 产生 每 分 钟 331000 事 务 ， 平 均 每 分 钟 事务 量 为 28700。 具 体 信息 参见 图 12-7。 从 存储 
BKA, Virtual SAN 和 Oracle AWR 报 告 显 示 ， 平 均 的 IOPSs 为 28000， 平 均 吞 吐 量 为 304MB/s。 由 于 4 个 Oracle ACHAS 
布 企 4 台 ESXi 主 机 上 ， 从 Virtual SAN Observer 客户 站 来 看 ， 每 个 客户 冰 的 IOPS 大 约 为 7000， 而 平均 吞吐 量 大 约 为 76MB/s， 并 
且 是 平均 分 布 的 。 表 12-6 显 示 了 通过 Oracle AWR 报 告 显示 的 IO 性 能 指标 ， 其 读 写 比 例 大 约 为 70: 30。 我 们 运行 了 多 次 同样 的 
测试 ， 绪 果 表 明 ， 所 有 测试 结果 类 似 。 图 12-8 显 示 了 在 运行 负载 期 间 ， 总 体 1O 的 响应 时 间 小 于 2 宣 秒 。 因 而 测试 验证 了 Virtual 
SAN 作 为 Oracle RAC 的 存储 解决 方案 完全 可 行 。 
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图 12-7 4 节点 Oracle RAC 的 每 分 钟 事务 数 (TPM) 
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412-6 Oracle AWR 报 告 显示 的 IO 性 能 指标 


AWR 报告 一 一 平均 15 分 钟 快照 产生 的 物理 IO (AVERAGE) 4 节点 的 ORACLE RAC 
总 体 IOPS 27 760 
iz IOPS 19 800 


Tj IOPS 7960 


12.5.4 基于 Virtual SAN 的 Oracle RAC 的 扩展 性 
1 测试 概览 


扩展 性 是 Oracle RAC 数 据 库 相对 于 其 他 同类 产品 的 主要 优势 之 一 。 因 为 当 额 外 节点 加 入 到 Oracle RAC 时 ， 数 据 库 对 性 能 的 
要 求 增加 ， 从 而 导致 存储 需要 提供 更 多 的 |OPS 和 吞吐 量 支 持 ， 同 时 需要 保证 低 延 迟 要 求 。 为 了 验证 扩展 性 ， 我 们 从 单 实例 开始 
测试 ， 每 次 增加 一 个 ， 直 到 4 节点 的 Oracle RAC 数 据 库 。 在 这 4 个 不 同 的 测试 中 ， 我 们 采用 同样 的 用 户 会 话 数 ， 并 通过 TPM 来 验 
证 测试 结果 。 

2. Witz 


如 图 12-9 所 示 ， 从 单 实例 数 据 库 到 4 节点 的 Oracle RAC 数 据 库 实例 ， 平 均 TPM 续 性 增加 。 图 12-9 显 示 了 在 Oracle RAC 上 的 
TPM 汇 轧 结果 。 观 察 结果 表明 ，1OPS 和 吞吐 量 线性 增加 ， 而 平均 延迟 持续 保持 在 2 毫秒 以 下 。 图 12-9 显 示 了 Oracle RACHAS 
例 的 汇总 TPM 数 值 。 测 试 结果 表明 ，Virtual SAN 能 够 很 好 地 支持 Oracle RAC 的 可 扩展 存储 解决 方案 。 
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图 12-9 Virtual SAN.E &j Oracle RAC 扩 展 性 测试 结果 


12.5.5 Virtual SAN 弹 性 应 对 硬件 故障 
1. 测 试 综 述 


本 证 主要 验证 Virtual SAN 在 处 理 磁 盘 、 磁 盘 组 和 主机 故障 时 的 弹性 性 能 。 验 证 设计 了 以 下 场景 用 于 模拟 真实 环境 下 会 遇 到 
的 各 种 组 件 故 障 ， 包 括 : 


` 单个 磁盘 故障 : 本 测试 用 于 评估 单 盘 遇 到 故障 时 ，Oracle 会 受到 的 影响 。 相 应 的 HDD 磁 盘存 储 了 Oracle 数 据 库 的 VMDK 组 


件 。 通 过 对 HDD 注 入 永久 磁盘 错误 模拟 磁盘 组 中 一 块 硬盘 故障 ， 并 观察 生产 环境 中 Oracle 数 据 库 在 功能 或 性 能 上 是 
"f o 


否 会 受到 影 


` 磁盘 组 故障 : 本 测试 用 于 评估 磁盘 组 遇 到 故障 时 ，Otacle 会 受到 的 影响 。 通 过 对 磁 僵 组 中 的 SSD 注 入 永久 磁 一 错误 模拟 磁 
盘 组 故障 ， 并 观察 生产 环境 中 Oracle 数 据 库 在 功能 或 性 能 上 是 否 会 受到 影响 。 


- 存储 主机 故障 : 本 测试 用 于 评估 Vittual SAN 中 一 台 主 机 遇 到 故障 时 ，Oracle RAC 会 受到 的 影响 。 通 过 关闭 Vittual SAN 集 群 


中 一 台 主机 的 电源 模拟 主机 故障 ， 并 观察 生产 环境 中 Oracle 数 据 库 在 功能 或 性 能 上 是 否 会 受到 影响 。 
2. 测 试 场景 
(1) 单个 磁盘 故障 


在 测试 中 ， 当 Swingbench 在 4 节点 的 Oracle RAC 生 成 工作 负载 时 ， 模 拟 HDD 磁 盘 损 坏 时 对 OLTP 工 作 负 载 的 性 能 影响 。 表 
12-7 显 示 了 失效 磁盘 和 它 存 储 的 4 个 Oracle 数 据 库 的 VMDK 组 件 。 在 磁盘 失效 时 ， 相 应 的 组 件 在 Virtual SAN 上 的 状态 为 “ 缺 
失 ” 和 “不 可 访问 ”。 


表 12-7 单个 磁盘 故障 


故障 磁盘 的 NAA ID ESXI 主机 组 件数 量 总 容量 ( GB) 使 用 容量 C96) 


(2) 磁盘 组 故障 


当 Swingbench 在 4 布点 的 Oracle RAC 上 生成 工作 负载 时 ， 拔 出 磁盘 组 中 的 SSD 来 模拟 Virtual SAN 磁 盘 组 故障 。SSD 故 障 会 
引起 整个 磁盘 组 的 故障 。 表 12-8 列 出 了 故障 磁盘 组 中 所 有 的 SSD 和 HDD， 包 括 受 影响 的 用 于 存储 SQL Server 数 据 库 VMDK 的 组 
(FSB. 


表 12-8 ”失效 磁盘 组 -物理 磁盘 和 组 件 


故障 磁盘 NAA ID 总 容量 (GB) | 使 用 容量 (%) 
naa.SXXXXXXXXXXX8935 NA 
naa. SXXXXXXXXXXXd4d7 4.57 
naa.SXXXXXXXXXXXc56f 6.51 
naa.SXXXXXXXXXXXd7f7 5.42 
naa.SXXXXXXXXXXXdl2b (ixxxxas3| Hpp | 1 — | 110662 | 1.81 
naa.SXXXXXXXXXXXe54b 4.52 
naa.SXXXXXXXXXXX8935 NA 


(3) 存储 主机 故障 


当 Swingbench 在 3 布点 的 Oracle RAC 上 生成 工作 负载 时 ， 通 过 直接 关闭 ESXi 服 务 器 电源 来 模拟 仓储 主机 的 故障 。 故 障 ESXIi 
点 不 包含 Oracle RAC 虚 拟 机 。 采 取 这 样 的 模拟 是 为 了 了 解 失去 一 个 存储 节点 而 非 计算 资 源 所 市 来 的 影响 ， 避 免 Oracle 运 行 实 
例 受 到 影响 ， 并 避免 VMware HA 介入 虚拟 机 的 重启 而 影响 运行 的 负载 。 故 障 的 存储 主机 拥有 两 个 磁盘 组 ， 受 影响 磁盘 组 如 表 
12-9 所 示 。 


表 12-9 ”故障 ESXi 主 机 磁盘 组 一 物理 磁盘 与 组 件 


磁盘 组 1 | naa.5SXXXXXXXXXXX8104 | IXX.XX.28.3 SSD NA 745.21 NA 


磁盘 组 1 | naa.5SXXXXXXXXXXXc3e7 HDD 
磁盘 组 1 | naa.XXXXXXXXXXX2153 HDD 
磁盘 组 1 | naa.XXXXXXXXXXXb74f HDD 
磁盘 组 1 | naa.XXXXXXXXXXX28c3 HDD 
磁盘 组 1 | naa. SXXXXXXXXXXXbS53f HDD 
磁盘 组 1 | naa.5SXXXXXXXXXXX8935 SSD 
磁盘 组 2 | naa.SXXXXXXXXXXXd4d7 HDD 
磁盘 组 2 | naa.5XXXXXXXXXXXc56f HDD 
磁盘 组 2 | naa.SXXXXXXXXXXXd7f7 HDD 
磁盘 组 2 | naa.SXXXXXXXXXXXdl2b HDD 
磁盘 组 2 | naa.SXXXXXXXXXXXe54b HDD 
磁盘 组 2 | naa.SXXXXXXXXXXX8104 SSD 
磁盘 组 2 | naa.SXXXXXXXXXXXc3e7 HDD 


3. 测 试 结果 


1106.62 8.13 
1106.62 10.30 
1106.62 9.94 
1106.62 5.46 
1106.62 FAD 
A 745.21 NA 
1106.62 6:33 
1106.62 Judd 
1106.62 4.52 
1106.62 3.62 


1106.62 8.14 


2, 


A 745.21 NA 


1106.62 8.13 


如 表 12-10 所 示 ， 在 所 有 故障 测试 场景 中 ，Oracle 数 据 库 性 能 仪 在 短 时 间 内 受到 影响 (TPH ERARA ORREK) 。 表 
12-10 还 测试 了 从 性 能 降低 恢复 到 稳定 TPS 状 态 所 需 的 时 间 。 在 所 有 故障 场景 下 ， 稳 定 状态 的 TPS 几 乎 和 故障 友 生 前 一 样 。Linux 
虚拟 机 或 者 Oracle 用 户 会 话 没 有 报告 任何 IO 错误 。 该 结果 验证 了 Virtual SAN 在 组 件 故障 友 生 时 具有 民 好 的 弹性 应 对 能 


表 12-10 Ortracle 在 故障 场景 下 性 能 影响 






serar | engg | 性 能 降低 恢复 到 稳 De een 
umm | 故障 发 生前 平 | 故障 发 生 时 | ee | 故障 发 生 时 重 做 日 | 故障 发 生 时 重 做 日 


志 盘 IOPS FA | SAIR (EP) 


时 间 ( 秒 ) 


单个 (HDD) 故障 4100 1200 Zou ELD 1.6~2.4 
fee wun | 3600 4 1743 


在 每 个 故障 场景 中 ， 由 于 虚拟 机 的 存储 策略 设 定 为 允许 的 故障 数 大 于 零 ， 因 而 虚拟 机 对 象 和 组 件 仍 然 得 以 正 弟 访问 。 在 持 个 
磁盘 故障 测试 场景 中 ， 由 于 磁盘 是 热 插 拔 而 非 永久 损坏 故障 ， 所 以 Virtual SAN 没 有 立即 局 动 重建 磁盘 对 象 的 操作 。Virtual SAN 
会 司 动 一 个 默认 60 分 钟 的 计时 器 。 该 计时 器 可 由 用 户 修改 ， 庄 细 信 息 参 见 《VMware Knowledge Base Article2075456》。 如 
果 移 除 的 磁盘 没有 在 60 分 钟 内 插 回 ， 而 Virtual SAN 有 足够 的 空间 满足 重建 对 象 容量 需求 ， 那 么 Virtual SAN 会 立即 尝试 重建 该 
对 象 。 该 数值 设 定 为 60 分 钟 也 是 考虑 到 如 果 ESXi 主 机 进入 维护 模式 ， 则 立即 重建 副本 市 来 的 数据 同步 。 一 般 来 竟 ， 如 果 要 重建 
副本 ， 数 据 同步 时 间 依赖 于 需要 同步 的 数据 量 。 


12.5.6 ”基于 Virtual SAN 的 vSphere vMotion 


1.3 i 


vSphere vMotion 人 允许 虚拟 机 从 一 台 物 理 机 在 线 迁移 到 另 一 台 物 理 机 上 ， 并 不 中 断 虚 拟 机 运行 的 业务 。 我 们 使 用 该 特性 在 
vSphere 集 群 中 无 颖 地 在 物理 机 之 间 迁 移 工作 负载 。 在 本 测试 中 ， 如 图 12-10 所 示 ， 我 们 将 4 节点 Oracle RAC 中 的 一 个 节点 从 一 
台 ESXi 主 机 在 线 地 迁移 到 另 一 台 主 机 。 
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图 12-10 Virtual SANA 4% F ii id vSphere vMotionit 4 Oracle RAC 节 点 


2. 测 试 结果 和 结论 

当 Swingbench 和 后 成 类 TPC-C 工 作 负 载 时 ， 友 起 vMotion， 将 Oracle RAC 集 群 节点 中 的 证 感 2 从 ESXi2 迁 移 到 ESXi3。 当 迁移 
局 动 时 ，Oracle RAC 数 据 库 的 TPM 大 约 为 300000。 迁 移 用 时 约 182 秒 。 在 最 后 迁移 阶段 ，TPM 受 影响 的 时 间 大 约 为 10 秒 钟 ， 之 
后 即 回 到 初始 水 平 。 在 本 次 测试 中 ，ESXi3 有 足够 的 计算 资源 来 提供 给 Oracle RAC 节 点 2， 因 而 在 vMotion 完 成 后 ， 忌 体 TPM 没 


有 下 降 。 本 测试 验证 了 Virtual SAN 能 为 Oracle RAC 提 供 良好 的 弹性 。 
12.5.7 ”基于 Virtual SAN 延 伸 集 群 的 Oracle 扩 展 RAC 性 能 


1.3 i EZ 
本 小 节 验 证 了 Oracle 扩 展 RAC 运 行 在 Virtual SAN 延 伸 集 群 上 的 数据 库 性 能 。 


(1) Virtual SAN 延 伸 集 群 设置 

我 们 在 实验 环境 下 模拟 了 大 区 域 网 络 ， 图 12-11 展 示 了 设置 布局 图 ， 用 不 同 的 VLAN 设 置 了 3 个 站 点 。Linux 虚 拟 机 配置 了 3 个 
网 络 接口 ， 每 个 接口 分 别 作为 VLAN 的 内 部 网 关 ， 用 于 在 站 点 间 路 由 。 在 ESXi VSAN VMkernel 端 口上 配置 静态 路 由 ， 以 此 在 不 
同 VLAN 之 间 路 由 。Linux 虚 拟 机 采用 Netem 来 模拟 两 个 站 点 间 的 网 络 延 迟 ， 通 过 XORP (开源 路 由 平台 ) 提供 两 个 VSAN 故 障 域 
间 的 组 播 流量 。 与 此 同时 ， 改 变数 据 站 点 间 的 网 络 延迟 来 对 比 网 络 影响 。 从 见证 主机 到 | 数据 站 点 之 间 的 往返 延迟 被 固定 在 200 毫 
秒 。 有 关 如 何 构建 模拟 延伸 集群 环境 的 信息 详 见 3.7.3 节 。 
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图 12-11 实验 环境 中 用 于 验证 延伸 集群 的 2+2+1Virtual SAN AAA 


(2) 站 点 间 的 延迟 设置 


我 们 通过 在 Virtual SAN 两 个 站 点 的 的 内 核 尊 口 之 间 引 入 延迟 ， 同 样 的 延迟 也 被 3 入 2 节点 的 Oracle 扩 展 RAC 节 点 之 间 (H 
有 和 私有 网 络 互 联 ) 。 该 延迟 是 通过 使 用 Linux 内 建 的 Netem 来 模拟 的 。 图 12-12 列 出 了 延伸 集群 故障 域 的 配置 。 我 们 将 站 点 A 
和 站 点 B 之 间 的 内 部 站 点 


主 返 网 络 延 迟 分 别 设置 为 1 毫秒、2.2 毫 秒 和 4.2 毫 秒 。 站 点 A/B 与 站 点 C 的 内 部 站 点 
20088, = 


返 网 络 延 迟 被 固定 
个 测试 中 ， 我 们 均 使 用 Swingbench 来 产生 类 TPC-C 的 在 线 交 易 系 统 的 工作 负载 。 


Virtual SAN Cluster Fault Domains 


You can group Virtual SAN hosts thal could potentially fail together by creating a fault domain and assigning one or more hosts to it. 


Failure of all hosts within a single fault domain is treated as one failure. If faut domains are specified, virtual SAN will never put 
more than one replica ofthe same object in tha same fault domain. 
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图 12-12 Virtual SAN 延 伸 集 群 故 障 域 配置 


2. 测 试 结果 


在 测试 期 间 ， 我 们 测量 了 在 Virtual SAN 延 伸 集群 上 的 Oracle 数 据 库 运行 OLTP 工 作 负 载 的 TPS 和 IOP9S。 通 过 使 用 Nnetem 来 
增加 站 点 间 延 迟 。 随 着 延迟 的 增加 ， 可 以 观察 到 TPS 的 下 降 。 对 于 给 定 的 测试 负载 ，TPSs 的 下 降 与 站 点 间 的 往返 延迟 增加 成 比 
例 。 如 图 12-13 所 示 ， 对 于 内 部 链 路 网 络 延 迟 分 别 设置 为 1 毫秒 、2.2 毫 秒 和 4.2 富 秒 的 链 路 | 间 往 返 延 迟 ，TPS 分 别 降 低 了 12%、 
27% 和 47%。 同 样 ， 在 Virtual SAN Observer 中 可 以 看 到 如 图 12-14 所 示 的 IOSP 下 降 。 可 以 看 到 随 着 内 部 站 点 延迟 的 增加 ，1O 
和 网 络 延 迟 随 之 增加 。 本 方案 验证 了 运行 在 Virtual SAN 延 伸 集 群 为 运行 Oracle 扩 展 RAC 对 运行 OLTP 工 作 负 载 提供 了 性 能 期 望 
可 达 的 运行 平台 。 相 比 于 本 地 配置 的 Virtual SAN 集 群 ， 配 置 1 富 秒 站 点 间 延 迟 ， 会 使 得 运行 在 Virtual SAN 延 伸 集群 上 的 Oracle 
扩展 RAC 为 原来 事务 能 力 的 889%。 而 随 着 距离 或 站 点 间 延 迟 的 增加 ， 数 据 库 的 事务 性 能 也 受到 影响 。 


E Regular Cluster (No Latency) ™ Stretched Cluster (1) 


= Stretched Cluster (2.2ms) Stretched Cluster (4.2ms) 





图 12-13 ”Ortracle 扩 展 RAC 上 运行 类 TPC-C 工 作 负 载 的 TPS 对 比 
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图 12-14 Ortracle 扩 展 RAC 上 运行 类 TPC-C 工 作 负 载 的 IOPS 对 比 


12.5.8 Virtual SAN 延 伸 集群 应 对 站 点 故障 


1A REB DU ES 
本 测试 描述 了 Virtual SAN 延 伸 集群 最 强大 的 特性 : 即使 在 站 点 完全 故障 的 情况 下 ， 依 旧 维 持 数 据 的 高 可 用 。 


我 们 将 测试 运行 在 如 图 12-15 所 示 的 2 节点 Oracle 延 促 RAC 中 。 集 群 上 局 用 了 vSphere HA 与 DRS， 并 且 通 过 Swingbench 生 
成 100 个 用 户 会 话 的 类 TPC-C 工 作 负 载 。 一 段 时 间 后， 通过 天 闭 站 点 A (Virtual SAN 延 伸 集 群 的 偏好 站 点 ) 中 两 全 ESXi 主 机 的 电 
源 以 模拟 整个 站 点 的 故障 。 如 图 12-15 所 示 ， 偏好 站 点 的 两 合 ESXi 主 机 已 没有 响应 。 


Setings | Scheduled Tasks | Alarm Definitions | Tags | Permissions 


Virtual SAN Cluster Fault Domains 


You can group Virtual SAN hosts that could potentially fail together by creating a fault domain and assigning 
one or more hosts to i. Failure of all hosts within a single fault domain is treated as one failure. If faut 


domains are specified, Virtual SAN will never put more than one replica of the same object in the same fault 
domain 


— EC Q Filt 


F sun DomainHost 


Disk Management 


Hosts not in fault domain (0 hosts) 
~ Preferred (2 hosts) (Preferred fault domain for VSAN Stretched Cluster) 


B 28.10 (Not Responding) 
区 28.14 (Not Responding) 
~ Secondary (2 hosts) 
A 28.3 
A 28.11 
~ External witness host for VBAN Stretched Cluster 
A 145.138 





图 12-15 Virtual SANA£ 4p E ZF P NSE s, E 


2 .站 点 故障 测试 结果 与 持续 的 数据 高 可 用 
在 站 点 A 上 的 Oracle 扩 展 RAC 虚 拟 机 会 受到 站 点 故障 的 影响 。 然 而 ， 用 户 会 话 事务 会 持续 进行 ， 因 为 客户 端 会 重 定向 到 存活 


的 站 点 B 上 。vSphere 高 可 用 会 在 站 点 B 上 重 局 原先 在 站 点 A 受 影响 的 Oracle 扩 展 RAC 虚 拟 机 。 成 功 重 局 的 虚拟 机 可 以 接受 新 的 用 

会 话 。 由 于 站 点 A 的 数据 在 站 点 B 上 有 同样 的 拷贝 ， 因 此 ， 站 点 故障 个 会 影响 用 户 数 据 的 可 靠 性 。 同 时 ，vSphere 遍 可 用 也 可 
以 目 动 重启 受 影 响 的 虚拟 机 。 在 站 点 A 友 生 故障 后 ， 数 据 的 高 元 余 特 性 不 能 维持 ， 因 为 所 有 站 点 A 的 数据 都 无 法 访问 ， 而 所 有 的 
虚拟 机 都 运行 在 站 点 B。 这 样 会 导 任 Oracle 扩 展 RAC 不 需要 维持 站 点 间 的 缓存 融合 消息 ， 从 而 提升 事务 处 理 的 性 能 。 然 而 ， 这 个 
性 能 提升 的 代价 是 不 能 做 跨 站 点 的 数据 宛 余 备份 。Virtual SAN 延 伸 集群 的 适用 场景 是 在 某 个 时 间 点 容忍 单一 站 点 故障 。 


经 过 一 段 时 间 ， 重 启 ESXi 主 机 使 得 站 点 A 的 主机 都 恢复 工作 。Virtual SAN 延 伸 集群 会 根据 故障 后 站 点 B 的 组 件 对 象 变化 启动 
数据 同步 操作 。 这 个 测试 结果 验证 了 Virtual SAN 延 伸 集 群 能 配合 vSphere 高 可 用 和 分 布 资 源 调 度 (DRS) ， 提 供 数据 高 可 用 功 
能 ， 并 在 站 点 故障 时 能 目 动 完成 故障 切换 和 故障 回 切 。 证 实 了 Virtual SAN 延 伸 集群 能 为 Oracle RAC 提 供 零 复原 时 间 目 标 

(RPO) 和 零 复 原点 目标 (RTO) 。 


3. 站 点 故障 和 恢复 的 最 佳 实践 


站 点 故障 后 的 数据 库 性 能 依赖 于 由 延伸 集群 能 配合 vSphere 高 可 用 在 存活 站 点 重启 虚拟 机 后 ， 其 所 在 物理 主机 能 够 提供 的 
CPU 和 内 存 资源 。 如 果 在 存活 站 点 的 ESXi 主 机 没有 足够 的 资源 来 支持 额外 的 工作 负载 ， 建 议 关 闭 vSphere 高 可 用 。 在 这 种 情况 
F, Oracle RAC 能 将 用 户 连 接 转 移 到 存活 站 点 的 Oracle RAC 虚 拟 机 节点 上 。 


当 站 点 故障 友 生 时 ， 建 议 将 所 有 故障 友 生 的 主机 在 10 分 钟 内 一 起 重 局， 而 不是 一 个 接 一 个 地 重启 。 由 于 Virtual SAN 延 伸 集 


群 会 在 远程 站 点 恢复 数据 之 前 等 待 10 分 钟 ， 因 此 这 一 操作 可 以 避免 在 站 点 间 反 复 同步 大 量 数据 。 在 故障 站 点 恢复 后 ， 建 议 等 待 
恢复 AE 


复 流 量 完 成 后 ， 再 司 动 虚拟 机 迁移 工作 (迁移 到 恢复 后 的 站 点 ) 。 同 样 ， 建 议 在 站 点 故障 场景 下 ， 将 DRS 的 迁移 策略 从 完全 目 
动 化 修改 为 部 分 目 动 化 。 


12.6 ”使 用 Virtual SAN 延 伸 集 群 和 Oracle Data Guard 的 全 局 灾 备 方案 


n 


12.6.1 方案 和 配置 概 ? 


日 


用 于 支持 关键 应 用 的 Oracle RAC 需 要 持续 的 数据 保护 ， 从 而 避免 计划 内 或 者 非 计划 的 灾难 发 生 带 来 的 数据 可 靠 性 问题 ， 以 
及 可 能 需要 的 在 全 局 灾 备 方案 中 将 数据 复制 到 全 球 任 一 地 方 。 我 们 可 以 通过 Virtual SAN 延 伸 集群 和 Oracle Data Guard 结 合 来 
提供 零 数据 丢失 的 数据 灾 备 方案 。Virtual SAN 延 伸 集 群 提 供 城 域 距离 的 双 活 连续 数据 可 靠 性 ， 而 Oracle Data Guard 提 供 全 球 


距离 的 数据 复制 和 恢复 解决 方案 。 
图 12-16 所 示 为 该 方案 配置 的 环境 描述 : 


站 点 A 和 站 点 B 是 Virtual SAN 延 伸 集 群 的 两 个 数据 站 点 。Oracle 扩 展 RAC 的 节点 分 布 在 这 两 个 数据 上 。 


- 站 点 C 运 行 Virtual SAN 延 伸 集 群 的 见证 。 
| 站 点 A、B、C 构 成 了 Otacle 扩 展 RAC 的 生产 数据 库 环 境 ， 作 为 Ofacle Data Guard 的 主 数据 来 源 。 
站 点 D 由 两 个 节点 的 Otacle RAC 组 成 ， 它 们 运行 在 标准 的 Virtual SAN 集 群 上 用 作 灾 难 恢 复 。 该 站 点 的 理想 位 置 是 全 球 性 的 
距离 ， 用 于 全 局 灾 备 (然而 在 实验 环境 中 ， 我 们 搭建 在 同一 个 数据 中 心 内 ) 。 站 点 D 的 两 个 节点 的 Oracle RAC 是 由 Oracle Data 
Guatd 保 护 的 物理 备用 数据 库 。Otacle 活 跃 Data Guatd 被 配置 成 最 大 性 能 保护 模式 ， 用 于 在 主 数据 库 和 物理 备用 数据 之 间 同 步 数 
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图 12-16 WRAAE RS Virtual SAN ZEA 4& £7 Oracle Data Guard 


12.6.2 “方案 验证 


我 们 使 用 Swingbench 在 Oracle 主 数据 库 上 生成 类 TPC-C 工 作 负 载 。Data Guard 工 作 在 最 大 性 能 模式 下 ， 事 务 产生 的 重 做 


日 志 会 在 写 入 在 线 日 志 后 被 提交 。 提 交 的 事务 会 被 异步 提交 到 备用 数据 库 。 访 保护 模式 确保 写 入 日 志 提 交 到 备用 数据 库 是 延迟 写 


入 的 ， 从 而 保证 主 数据 库 的 性 能 不 受 同 步 日 志 的 影响 。 该 模式 适用 于 生产 站 点 和 备用 站 点 之 间 存 在 较 大 延迟 、 并 且 链 路 市 完 有 限 
的 情况 。 


Oracle 活 动 Data Guard 适 用 于 报告 数据 和 生产 数据 最 小 延迟 的 实时 生产 报告 。 此 外 ， 该 特性 允许 备份 操作 凶 载 到 备用 数据 
库 中 。 如 图 12-16 所 示 ， 注 册 并 由 RMAN 归 类 数据 库 管理 的 RMAN 备 份 操作 在 站 点 D 进 行 。 这 使 得 用 户 能 有 效 利用 灾 备 站 点 的 
Virtual SAN 人 和 存储， 并 能 提高 整体 的 投入 产 出 。 


活动 Data Guard 的 另 一 种 保护 模式 是 最 大 化 可 靠 性 ,该 模式 可 以 提供 最 高 的 数据 保护 。 提 交 的 事务 在 主 数据 库 和 备用 数据 
库 都 写 入 重 做 日 志 后 才 提 交 ， 因 而 主 数 据 库 和 备用 数据 库 数据 是 完全 同步 的 。 如 果 主 数据 库 不 能 将 重 做 日 志 写 入 其 中 一 个 同步 备 
用 数据 库 ， 活 动 Data Guard 会 保护 主 数据 库 的 可 靠 性 ， 而 转 入 最 大 性 能 模式 ， 和 直到 重 做 数据 流 能 饿 同步 到 相应 的 备用 数据 中 。 


本 解决 方案 验证 了 Virtual SAN 延 伸 集群 上 运行 主 生产 数据 库 ， 而 标准 Virtual SAN 和 集群 运行 备用 数据 库 。 方 案 集成 了 
Oracle Data Guard， 从 而 提供 成 本 可 控 、 并 拥有 跨 3 个 数据 中 心 的 最 高 级 别 的 数据 保护 的 解决 方案 。 该 方案 能 在 任 一 站 点 发 生 
故障 时 ， 实 现 近 零 数 据 丢 失 风 险 。 


12.7 Virtual SAN 上 备份 和 恢复 Oracle RAC 


12.7.1 备份 万 案 概 史 


RMAN 是 用 于 和 备份、 修复 、 恢 复 Oracle 数 据 文 件 的 应 用 。 作 为 Oracle 数 据 库 服务 的 产品 特性 ，RMAN 无 须 单独 安装 。 
RMAN 能 够 在 备份 、 修 复数 据 库 前 后 处 理 所 有 数据 库存 储 过 程 ， 脱 离 对 操作 系统 和 SQL Plus 的 依赖 。 在 本 方案 中 ， 我 们 利用 
Oracle RMAN 来 备份 和 恢复 数据 库 ， 方 案 包 含 以 下 场景 : 


e 当 运 行 工 作 负 载 时 ， 启 动 Oracle RAC 生 产 站 点 数据 库 备 份 。 在 该 场景 下 ， 没 有 配备 灾 备 站 或 者 Oracle Data Guard. 


- 当 在 主 数 据 库 运行 工作 负载 上 时， 从 灾 备 站 点 启动 物理 备用 数据 库 的 备份 工作 。 图 12-16 显 示 了 方案 实施 的 具体 方法 。 该 方 
法 将 备份 任务 印 载 到 备用 数据 库 中 。 


RMAN 从 控制 文件 或 者 可 选修 复 目 录 中 读 取 备份 和 修复 信息 。 在 生产 环境 中 ， 首 选 的 修复 存放 目录 是 独立 存在 的 ， 目 的 是 
作为 第 二 个 元 数据 存放 区 。 此 外 ， 也 是 为 了 集中 管理 所 有 目标 数据 库 的 元 数据 。 在 Oracle Data Guard 配置 环境 中 ， 修 复 目 录 是 
必须 配置 的 。 通 过 存储 所 有 主 、 备 用 数据 库 的 元 数据 ， 存 放 目 录 可 以 帮助 用 户 逢 载 备份 任务 到 一 个 备用 数据 库 中 。 而 在 同一 环境 
中 ， 还 可 以 恢复 备份 集 到 其 他 数据 库 中 。 


在 实验 环境 准备 功能 ， 如 图 12-16 所 示 ， 在 生产 环境 以 外 的 一 台 虚 拟 机 上 安 半 RMAN 修 复 目 录 数 据 库 。 配 置 一 个 NF9 挂 载 
点 ， 其 数据 存放 在 独立 的 一 套 管理 基础 架构 的 Virtual SAN datastore 上 。 我 们 为 备份 流量 单独 配置 了 备份 网 络 接口 和 VLAN M 
而 将 备份 流量 和 Oracle 共 有 网 络 流量 以 及 Oracle RACH RBA melas. 


12.7.2 备份 方案 验证 


当 我 们 在 RMAN 中 使 用 BACKUP 命 令 备份 数据 库 时 ， 输 出 总 是 备份 集 或 者 镜像 拷贝 。 备 份 集 是 RMAN 特 有 的 备份 格式 ,而 
镜像 拷贝 则 是 位 到 位 的 文件 拷贝 。 在 默认 情况 下 ，RMAN 创 建 在 下 面 测试 场景 中 使 用 的 备份 集 。 


1. 从 生 严 站 点 备份 Oracle RAC 数 据 库 


我 们 在 4 节点 的 Oracle RAC 上 配置 Swingbench 运 行 类 TPC-C 工 作 负载 ， 使 用 100 个 用 户 会 话 。 观 察 到 的 Oracle 数 据 库 的 
TPS 在 4500 到 4800 之 间 。 然 后 在 Oracle RACRS—^ 55a (虚拟 机 ) 上 局 用 RMAN 全 备份 任务 。 在 这 人 台 虚 拟 机 上 ， 当 RMAN 全 备 
份 任务 启动 后 ， 读 吞吐 量 从 50MB/s 上 升 到 115MB/s。 读 吞吐 量 增 加 的 原因 正 是 备份 负载 的 增加 。Oracle 数 据 库 的 事务 量 相 比 于 
启动 备份 前 保持 不 变 。 虽 然 备 份 负载 没有 对 事务 量 产 生性 能 影响 ， 但 是 RMAN 备 份 使 用 了 同一 台 虚 拟 机 上 的 CPU 和 存储 资源 ， 
因而 人 在 条 件 人 允许 的 情况 下 ， 我 们 推荐 将 备份 任务 卸载 到 备用 数据 库 或 者 在 非 高 峰 时 间 局 动 备 份 任务 。 此 外 ，RMAN 有 增 量 备份 
功能 ， 也 即 备份 仪 发 生 在 上 次 备份 后 改变 的 数据 量 。 这 一 功能 可 以 缩短 备份 时 间 并 减少 备份 或 修复 所 需要 的 资源 ， 从 而 提高 效 
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2. 从 灾 备 站 后 的 物理 备用 数据 库 备份 Oracle RAC 数 据 库 


如 图 12-16 所 示 ， 我 们 在 两 个 节点 的 Oracle RAC 上 配置 Swingbench 运 行 类 TPC-C 工 作 负 载 。RMAN 备 份 任务 从 备用 数据 库 
启动 。 主 生产 数据 库 和 备用 数据 库 安 装 在 不 同 的 Virtual SAN 集 群 中 。 由 于 备份 操作 是 从 备用 数据 库 友 起 的 ， 因 而 无 须 消耗 生产 
站 点 的 计算 和 存储 资源 ， 从 而 对 Oracle 主 数据 库 事 务 性 能 没有 任何 影响 。 该 方案 能 使 用 户 方便 地 将 备份 任务 负载 征 载 到 备用 数 
据 库 中 ， 而 在 需要 时 ， 可 以 将 备份 集 恢 复 到 主 数 据 库 。 


这 个 方案 测试 验证 了 Oracle RMAN 提 供 了 Oracle RAC 部 署 在 Virtual SAN 上 的 备份 可 行 性 方案 


12.8 在 Virtual SAN 上 运行 Oracle RAC 的 最 佳 实践 


要 成 功 实施 企业 级 面向 关键 应 用 的 Oracle RAC， 正 确 配 置 Virtual SAN 非 常 关键 。 本 参考 架构 聚焦 于 如 何在 Virtual SANE 
实现 配置 Oracle RAC 的 最 佳 实践 。 具 体 包 括 Virtual SAN 配 置 ， 虚 拟 机 CPU、 内 存 以 及 网 络 配 置 等 具体 信息 。 更 多 信息 ， 请 参考 


(Oracle Databases on VMware Best Practices Guide) , 


12.8.1 Virtual SAN 存储 配置 原则 


Virtual SAN 通 过 ESXi 主 机 的 本 地 和 直 连 设备 构建 分 布 式 对 象 存储 。 在 混合 架构 的 Virtual SAN 配 置 中 ， 其 以 磁盘 组 的 形式 将 
SSD 和 磁盘 池 化 为 单独 的 管理 结构 。VMware 推 荐 使 用 同等 配置 和 规模 的 ESXi 主 机 来 构建 Virtual SAN 集 群 。 


- 数据 增长 规划 。 初 始 部 署 需要 考虑 日 后 数据 增长 的 容量 和 满足 进一步 需求 的 闪存 缓存 。 每 台 服 务 器 使 用 多 个 Virtual SANK 
盘 组 ， 每 个 磁 花 组 确保 有 足够 容量 的 HDD 和 SSD。 为 便于 后 期 扩展 ， 建 议 以 相同 的 配置 和 规模 创建 磁盘 组 ， 以 此 确保 虚拟 机 存储 
组 件 在 集群 中 磁盘 和 主机 上 的 平衡 分 布 。 


| 数据 可 靠 性 规划 。 考 上 处 设计 多 于 3 台 主 机 和 更 多 的 磁盘 容量 组 成 Virtual SAN， 从 而 在 故障 发 生 时 使 集群 能 自动 修复 故障 组 


设置 合适 的 基于 存储 策略 的 管理 。Virtual SAN 基 于 存储 策略 的 管理 可 以 针对 每 台 虚 拟 机 设置 可 用 性 、 容 量 和 性 能 策略 。 在 
本 参考 架构 中 ， 我 们 修改 了 对 象 的 磁盘 条 带 和 对 象 空间 预 留用 于 支持 Otacle RAC 虚 拟 机 存储 。 


- 当 使 用 multi-wtitet 模 式 时 ， 虚 拟 机 磁 僵 必须 采用 厚 备 置 零 。 由 于 磁盘 采用 厚 备 置 零 ， 虚 拟 磁盘 的 空间 预 留 为 100%， 因 而 
对 象 空间 的 预 留 需要 设 定 为 100%。 


每 个 对 象 的 磁盘 条 带 数 量 。 当 增加 条 带宽 度 时 ， 由 于 对 象 会 分 布 到 更 多 的 Vitrtual SAN 磁 盘 组 和 磁盘 上 ， 因 而 用 户 有 可 能 
会 发 现 IO 性 能 改善 。 然 而 在 Otacle RAC 这 类 解决 方案 中 ， 我 们 推荐 为 数据 库 配置 多 个 VMDK 文 件 。 在 该 配置 下 ， 即 使 条 带宽 度 为 
1， 对 象 也 能 均匀 分 布 到 Virtual SAN 的 磁盘 组 或 者 磁盘 上 ， 因 而 单方 面 增加 Virtual SAN 条 带宽 度 有 可 能 不 会 实质 提升 性 能 。 此 


外 ，Otacle 同 样 能 提供 主机 层面 额外 的 ASM 条 带 设 定 。 因 而 ， 除 非 我 们 在 读 缓存 未 命中 ， 或 者 从 缓存 向 HDD 写 盘 的 时 候 出 现 了 性 
能 问题 ， 否 则 我 们 用 默认 的 条 带宽 度 。 在 本 方案 验证 Oracle RAC 测 斌 中， 相 比 于 默认 的 条 带宽 度 1， 条 带宽 度 设 定 为 2 能 够 提供 更 
高 的 Oracle TPS。 然 而 ， 进 一 步 增 加 条 带宽 度 无 法 提升 性 能 ， 因 而 在 本 测试 中 我 们 使 用 条 带宽 度 为 2。 


` 为 数据 在 线 重 做 日 志和 归档 日 志 (FRA) 创建 独立 的 Oracle ASMA Z 28. 


- 根据 数据 库 大 小 ， 推 荐 为 每 个 Oracle ASM 磁 癌 组 配置 多 个 VMDK。 每 个 Oracle ASM 磁 衣 组 配置 多 个 VMDK 可 以 将 数据 库 组 
件 分 布 到 Virtual SAN 的 不 同 磁盘 组 上 。 


: Oracle ASM 磁 盘 组 数据 分 布 策 基于 容量 进行 的 。 确 认 在 同一 个 Oracle ASMAE A2 (VMDK) 上 容量 相同 ， 从 而 维持 平 


- 使 用 Paravirtual SCSI 控 制 器 存储 Oracle 数 据 库 文件 ， 对 数据 文件 (DATA) 、 重 做 日 志文 件 (REDO) 和 快速 恢复 区 
(FRA) 磁盘 使 用 不 同 的 控制 器 。 在 本 方案 中 ， 对 不 同 的 ASM 磁 盘 组 使 用 了 不 同 的 Paravitrtual SCSI 控 制 器 ， 并 在 每 个 人 ASM 磁 盘 组 


里 创建 多 个 VMDK 文 件 。 


大 型 I[/O 〇 密集 型 工作 负载 需要 Paravirtual SCSI 控 制 器 缺 省 队列 深度 值 的 更 大 的 适配器 队列 深度 。 在 本 测试 中 ， 我 们 为 Oracle 
虚拟 机 默认 内 核 启 动 参 数 增加 两 行 : vmw_pvscsi.cmd_per lun —254 VA vmw. pvscsi.ting pages—232.. 3x AM PE Paravirtual SCSI 控 
制 器 页 面 数量 增加 到 32， 并 将 添加 到 虚拟 机 磁盘 的 队列 深度 增加 为 254。 要 了 解 更 多 信息 ， 请 参见 : «VMware Knowledge Base 
Article2053145» 。 


:在 Linux 内 核 参 数 中 使 用 NOOP。 该 设置 是 对 Otacle 数 据 库 客户 操作 系统 的 最 佳 推荐 配置 。 在 本 测试 中 ，Otacle 虚 拟 机 默认 
内 核 启 动 参 数 中 缺 省 的 I/O 调 度 器 CEQ 修 改 为 “elevator = noop” 。 要 了 解 更 多 信息 ， 请 参见 《VMwate Knowledge Base 


Article2011861» 。 


12.8.2 CPU 配置 原则 


本 节 提 供 Oracle RAC 数 据 库 虚拟 机 针对 CPU 配 置 的 原则 。 了 人 解 应 用 对 CPU 设 置 的 需求 。 
深入 了 解 工作 负载 。 不 同 的 应 用 拓扑 和 部 署 对 数据 库 服务 器 利用 的 差异 很 大 : 

若 应 用 要 用 于 商业 环境 ， 请 确保 其 满足 部 着 指导 原则 。 

“ 若 应 用 是 客户 定制 的 ， 请 与 应 用 开发 商 沟通 从 而 决定 资源 需求 。 


各 用 户 不 清楚 具体 的 工作 负载 量 ， 可 以 通过 先 减少 VCPU 数 量 ， 再 逐渐 增加 来 确定 。 只 有 运行 的 Oracle RAC 工 作 负 载 可 以 充 
分 利用 所 有 VCPU 时 ， 对 虚拟 机 分 配 多 个 VCPU 才 有 意义 。 


当 在 单 台 ESXi 主 机 上 整合 多 台 虚 拟 机 时 ,合适 的 硬件 规格 对 于 优化 性 能 至 关 重 要 。 通 过 在 设 定 的 虚拟 化 环境 中 测试 工作 负 
载 ， 确 保 主机 上 拥有 充足 的 物理 CPU 人 资源 能 够 满足 宾客 虚拟 机 的 需要 。 请 根据 真实 性 能 数据 谨 愤 规划 CPU 过 载 ， 以 避免 其 对 虚 
拟 机 性 能 产生 负面 影响 。 针 对 关键 性 能 虚拟 机 (在 生产 环境 中 ) ， 请 确保 有 充足 可 用 的 CPU 资源 ， 以 确保 CPU 过 载 不 会 导致 任 
何 性 能 降级 。 


VMware 推 荐 在 服务 器 硬件 BIOS 和 客 尸 机 操作 系统 上 开启 非 统 一 内 存 访问 架构 。 虽 然 在 119 和 以 前 的 Oracle 版 本 中 支持 天 
闭 这 一 选项 ， 但 是 在 某 些 情 况 下 ， 开 局 Oracle 非 统一 内 存 访问 染 构 会 获得 更 好 的 性 能 。Oracle 文 档 (文档 编号 : 864633.1) Œ 
议 用 尸 在 生产 系统 实施 该 功能 前 进行 测试 。 


根据 文档 《Oracle Databases on VMware Best Practices Guide》， 推 荐 设计 定制 Oracle 虚 拟 机 时 尽量 控制 在 非 统一 内 
存 访问 架构 节 内 配置 ， 否 则 内 存 访问 有 可 能 会 跨越 非 统一 内 存 访问 架构 边界 。 尤 其 对 用 于 数据 仓库 的 虚拟 机 的 配置 比较 容易 出 
现 。 在 这 样 的 情况 下 ， 配 置 时 要 确认 vCPU 数 量 和 是 每 个 物理 CPU 核 数 的 整数 倍 。 


12.8.3 ”内 存 配置 原则 


本 忆 提 供 Oracle RAC 数 据 库 虚拟 机 针对 内 存 配置 的 原则 。 


在 生产 环境 中 ，Oracle 数 据 库 一 般 来 说 运行 内 存 需求 紧密 型 负载 ， 因 而 我 们 推荐 给 Oracle 的 系统 全 局 区 (SGA) 、 程 序 全 
HE (PGA) 和 操作 系统 进程 预 留 内 存 。 内 存 预 留 应 该 足够 大 ， 从 而 避免 在 ESXi 和 客户 操作 系统 之 间 发 生 内 核 交 换 。 


-在 开发 环境 中 ， 测 试 或 者 QA 过 度 分 配 通 第 是 用 户 充 分 利用 VMware 内 存 声 明 特 性 的 优势 。 然 而 使 用 过 度 分 配 技术 的 数据 库 
的 类 型 和 数量 需要 依赖 于 实际 的 工作 负载 。 


- 不 建议 关闭 内 存 膨 胀 驱动 (Balloon Driver) o 


- 虚拟 机 上 的 客户 机 操作 系统 仍然 需要 自己 的 独立 交换 或 者 页 面 文件 。 建 议 遵循 物理 机 环境 下 同样 的 交换 分 区 指导 进行 配 


在 Linux 客 户 机 操作 系统 配置 巨型 页 面 支持 ， 从 而 增强 运行 在 vSphere 上 的 Oracle 数 据 库 性 能 。 巨 型 页 面 和 自动 内 存 管理 
(AMM) 不 兼容 ， 因 而 需要 关闭 自动 内 存 管 理 ， 并 开启 自动 共享 内 存 管 理 (ASMM) 功能 。 关 于 更 多 的 在 Linux 上 配置 巨型 页 面 
的 相关 信息 ， 请 参见 Oracle metalink 说 明 ， 有 具体 如 下 : 


: Note361323.1—HugePages on Linux 
: Note361468.1—HugePages on64-bit Linux 
: Note401749.1— Shell Script to Calculate Values Recommended HugePages/Huge TLB Configuration 


- AGE Hp EERE TA. FRR AK IRE Jo HE BE £I DUE TRE ET/O ， 以 此 改善 Oracle RAC 
性 能 。vSphere6.0 支 持 给 每 个 虚拟 机 配置 高 达 4TB 的 内 存 ， 因 此 用 户 可 以 为 Oracle RAC 数 据 库 配置 大 量 的 内 建 内存 缓 存 来 改善 性 


能 。 

- 设 定 USE_LARGE_PAGES 初 始 化 参数 值 为 “only ， 这 样 如 果 不 能 支持 巨型 页 面 ，Oracle 数 据 库 就 不 启动 。 

- 设 定 内 存 预 贸 有 可 能 会 限制 vSphere vMotion。 虚 拟 机 只 有 在 目标 ESXi 主 机 有 足够 的 内 存 或 者 大 于 预 留 值 的 内 存 时 才能 
vSphere vMotionit 4% « 


12.8.4 网 络 配置 设计 原则 


本 节 提 供 针 对 Oracle 数 据 库 虚拟 机 的 网 络 配置 设计 原则 。 标 准 VMware 网 络 最 佳 实践 适用 于 Virtual SAN 上 的 Oracle 数 据 
EE: 


C 推荐 对 每 个 流量 类 型 设置 独立 的 VLAN， 出 于 安全 和 隔离 考虑 ， 为 虚拟 机 流量 设置 独立 的 基础 架构 流量 。 
` 使 用 VMXNET3 网 络 适 配器 。VMXNET3 网 络 适 配器 针对 虚拟 环境 进行 优化 ， 并 被 设计 用 于 提高 网 络 性 能 。 


针对 Oracle 网 络 互联 : 


-ZAER PIS XT edge EU, HAIL «VMware Knowledge Base Article1003712» 。 
-A Y MEM FREER, KAP HRS (4% LethernetX.coalescingScheme=disabled) 。 


- 使 用 网 络 I/O 控 制 在 10GbE 网 络 上 控制 网 络 和 存储 流量 (Virtual SAN) 。vSphetre 中 的 网 络 I/O 控 制 可 以 针对 vSphere 网 络 类 


型 确保 服务 带宽 ， 包 括 虚 拟 机 流量 、Virtual SAN、 管 理 、 备 份 和 vSphere vMotion。 


- 使 用 NIC teaming 以 获取 高 可 靠 性 和 负载 均衡 。 配 置 NIC teaming， 需 要 将 多 块 网 卡 适配器 关联 到 一 个 vSwitch 从 而 形成 NIC 


更 多 详细 信息 ， 请 参见 《VMware Virtual SAN Network Design Guide) . 


12.9 ”基于 Virtual SANER Oracle EREA IARE 


在 过 去 几 个 月 ， 我 们 在 最 新 发 布 的 Virtual SAN6.2 中 针对 Oracle12c 数 据 库 进行 了 全 闪存 架构 的 测试 。 在 本 书 截稿 之 际 ， 我 
们 希望 把 最 新 的 数据 呈现 给 广大 读者 。 在 全 闪存 架构 Virtual SAN 上 运行 Oracle 可 以 在 提供 所 需 高 可 用 性 和 高 弹性 的 同时 ， 确 保 
获得 所 需 的 关键 应 用 OLTP 和 决策 支持 工作 负载 性 能 。 


12.9.1 MRETI 


在 测试 期 间 ， 我 们 使 用 了 4 节点 全 闪存 架构 的 Virtual SAN 集 群 ， 分 别 在 每 台 主 机 上 部 署 1 台 Oracle 虚 拟 机 ， 并 在 虚拟 机 下 对 
400GB 数 据 库 进 行 性 能 测试 。 性 能 测试 工具 为 SLOB 和 Swingbench。 通 过 测试 ， 在 使 用 SLOB 生 成 繁重 工作 负载 给 4 台 Oracle 虚 
拟 机 后 ， 全 闪存 架构 Virtual SAN 可 以 向 Oracle 磁 盘 持续 提供 总 IOPS 在 9 万 到 10 万 之 间 的 磁盘 性 能 ; 总 平均 读 取 延 迟 小 于 5 襄 
秒 ， 总 平均 写 入 延迟 在 16 毫 秒 到 18 毫 秒 之 间 。 这 一 测试 数据 验证 了 Oracle 实 例 在 全 闪存 架构 Virtual SAN 存 储 中 的 虚拟 化 性 能 ， 
同时 表明 Virtual SAN 可 以 满足 企业 预期 的 数据 库 性 能 。 


Virtual SAN 和 虚拟 机 配置 
VMware Virtual SAN 每 台 主 机 配置 了 两 个 磁盘 组 ， 每 个 磁盘 组 的 具体 配置 如 下 : 
- 缓存 层 SSD: 1X800GB E] A 5 X 
- 容量 层 SSD: 3X800GB E] ARE 
每 合 Oracle 虚 拟 机 配置 : 
- Oracle Linux 
` 硬件 资源 分 配 
` 中 等 规模 虚拟 机 : 4 个 vCPU 和 64GB 内 存 
“ 大 型 规模 虚拟 机 : 8 个 vCPU 和 96GB 内 存 
Oracle 数 据 库 的 大 小 为 400GB。 


图 12-17 所 示 为 全 闪存 架构 Virtual SAN 的 Oracle 测 试 架 构 。 





图 12-17 全 闪存 架构 Virtual SAN Oracle] 7X 2g 44 


12.9.2 ”使 用 SLOB 生 成 高 OLTP 工 作 负 载 的 全 闪存 架构 Virtual SAN 性 能 


Oracle 工 作 负载 测试 使 用 SLOB 生 成 类 OLTP 工 作 负 载 并 观察 Virtual SAN 的 数据 库 磁盘 1O 性 能 。 
1. 综 述 


该 测试 专注 于 使 用 SLOB 在 部 署 于 Virtual SAN 的 Oracle 上 生成 OLTP 重 型 工作 负载 。400GB 数 据 库 使 用 SLOB 在 4 个 Oracle 独 
立 实例 上 载 入 ， 每 台 Oracle 虚 拟 机 放置 在 独立 的 ESXi 主 机 上 。 在 本 测试 中 ， 全 闪存 架构 Virtual SAN 的 虚拟 机 存储 策略 使 用 
FTT=1， 校 验 和 默认 关闭 。 


SLOB 配 置 参数 和 测试 运行 时 间 


SLOB 配 置 参数 中 ， 用 户 最 大 数 设置 为 128， 用 户 操作 时 间 设 为 0， 以 此 满足 每 个 数据 库 的 最 大 访问 要 求 并 充分 使 用 每 台 
Oracle 虚 拟 机 的 物理 资源 。 在 SLOB 生 成 的 OLTP 工 作 负 载 中 ，75% 为 读 取 ，25% 为 写 入 ， 以 此 模拟 日 常数 据 库 的 工作 负载 。 整 
个 测试 运行 时 间 为 60 分 钟 。 


2 Aui es ER. 


在 整个 测试 过 程 中 ， 我 们 设 定 前 20 分 钟 为 预 热 阶段 ， 后 40 分 钟 为 数据 库 稳定 工作 阶段 。 从 测试 结果 中 可 以 看 到 Oracle 磁 盘 
总 的 IOPs 稳 定 在 90000 左 右 ， 其 中 峰值 可 达 100000IOPS。 测 试 中 75% 的 IO 工作 负载 为 读 取 ，25% 的 IO 工作 负载 为 写 入 。 这 和 与 
企业 日 常 的 数据 库 工 作 负 载 相似 。 总 平均 读 取 延 迟 小 于 5 毫秒 ， 总 平均 写 入 延迟 在 16 毫 秒 到 18 毫 秒 之 间 。 哩 然 测试 总 共 运 行 了 60 
分 钟 ， 但 是 我 们 只 取 后 40 分 钟 的 性 能 数据 ， 因 为 前 20 分 钟 数 据 库 执行 预 热 。 如 图 12-18 和 图 12-19 所 示 ，1OPS 和 平均 延迟 数据 每 
30 秒 捕捉 一 次 ， 因 此 图 中 总 共有 80 个 采样 点 。 
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图 12-18 ”全 闪存 架构 Virtual SAN 在 OLTP 工 作 负 载 下 的 IOPS 
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图 12-19 ”全 闪存 架构 Vittual SAN 在 OLTP 工 作 负 载 下 的 平均 读 写 延迟 


12.9.3 TPC-H 工 作 负 载 下 全 闪存 架构 Virtual SAN 性 能 


在 该 测试 中 ， 我 们 使 用 Swingbench 生 成 类 TPC-H 工 作 负 载 来 验证 Virtual SAN6.2 对 TPC-H 的 支持 。TPC-H 是 一 球面 向 两 品 
零售 业 的 决策 支持 系统 测试 基准 ， 它 定义 了 8 张 表 、22 个 查询 ， 遵 循 SQL92。 该 工作 负载 属于 IO 紧密 型 。 


1.5 


本 测试 聚焦 于 验证 Virtual SAN 对 Oracle 决 策 支 持 类 型 应 用 的 工作 负载 ， 使 用 Swingbench 生 成 重型 工作 负载 。 使 用 SLOB 在 
两 个 Oracle 独 立 实例 上 载 入 400GB 数 据 库 (一 个 中 等 规模 虚拟 机 和 一 个 大 型 虚拟 机 ) 。 每 台 Oracle 虚 拟 机 安置 在 不 同 的 ESXi 主 
机 上 。 在 本 测试 中 ， 全 闪存 架构 Virtual SAN 的 虚拟 机 存储 策略 为 RAID1 镜 像 ， 关 闭 校 验 和 上 默认， 其 余 策 略为 默认 设置 。 


相关 销售 历史 数据 工作 负载 配置 参数 和 测试 运行 时 间 


相关 销售 历史 数据 工作 负载 在 两 个 数据 库 实例 上 同时 执行 60 分 钟 。 压 力 测试 工具 Swingbench 中 相关 销售 历史 数据 的 测试 配 


置 包括 如 下 多 种 事务 类 型 : 
: Sales Rollup by Month and Channel 
: Sales Cube by month and Channel 
: Sales Cube by Week and Channel 
: Product Sales Cube and Rollup by Month 
: Sales within Quarter by Country 
: Sales within Week by Country 
9?wingbench 中 相 天 销售 历史 数据 的 工作 负载 是 由 100% 的 只 读 操 作 产生 大 量 密集 的 IO 吞吐 负载 。 
2. 测 试 结果 


在 使 用 Swingbench 生 成 相关 销售 历史 数据 工作 负载 期 间 ， 通 过 Virtual SAN 性 能 服务 记录 到 如 图 12-20 所 示 的 IO 吞吐 数 
据 ， 平 均 1O 吞 吐 量 为 每 秒 650MB， 其 中 峰值 可 达 每 秒 900MB。 数 据 依旧 为 每 30 秒 捕捉 一 次 ， 因 此 图 中 总 共有 120 个 采样 点 。 


由 此 可 见 ，Virtual SAN6.2 在 全 闪存 架构 下 对 Oracle OLTP 和 决策 支持 类 型 工作 负载 的 良好 性 能 ， 即 Virtual SAN6.2 在 全 闪 
存 架 构 下 对 Oracle 应 用 拥有 完好 的 支持 。 


Read IO Throughput (MByte/s) 
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图 12-20 Virtual SAN 在 100% 读 取 IO 工 作 负 载 下 的 吞吐 量 数据 


12.10 AEs 


Virtual SAN 是 一 蒜 性 价 比 高 并 且 高 性 能 的 存储 平台 ， 其 部 署 快速 ， 易 于 管理 ， 完 全 融合 于 业界 领先 的 VMware vSphere:E 


本 方案 验证 了 Virtual SAN 作 为 存储 平台 在 运行 Oracle RAC 集 群 的 可 扩展 、 弹 性 、 高 可 用 以 及 高 性 能 。 


Virtual SAN 与 vSphere 的 融合 使 之 可 以 在 单独 的 管理 界面 上 部 署 与 管理 。Virtual SAN 延 伸 集 群 为 Oracle 延 伸 RAC 集 群 解决 
方案 的 0RPO 与 RTO 提 供 了 卓越 的 存储 平台 。 本 方案 也 描述 了 Virtual SAN 延 伸 集 群 与 Oracle Data Guard 和 RMAN 备 份 如 何在 
同一 时 间 协 同 工 作 以 向 关键 应 用 提供 灾难 恢复 和 商业 持续 可 用 。 


第 13 普 ”基于 VMware 混合 架构 Virtual SANBSHorizon View 最 佳 实践 


13.1. 业务 案例 


1.7338 £V 


本 方案 由 在 帮助 客户 一 IT 架构 师 、 顾 问 和 管理 员 参 与 到 Horizon View 的 前 期 规划 、 设 计 和 部 署 中 。 目 的 在 于 提供 标准 的 、 
可 重 现 的 、 高 可 扩展 性 的 设计 ， 以 轻松 适 配 具体 的 环境 和 用 尸 需求。 本 万 案 基 于 VMware 在 生产 环境 部 署 中 的 大 量 实践 经 验 ， 以 
向 读者 提供 以 下 解决 万 案 : 


. 标准 化 的 、 已 验证 稳定 可 靠 的 组 件 。 
` 可 扩展 的 设计 ， 允 许 用 户 在 未 来 基于 需求 进行 升级 。 
: 已 验证 和 测试 的 设计 ， 以 帮助 降低 部 署 和 操作 风险 。 


` 快速 部 着， 降低 成 本 ， 最 小 化 风险 。 


2. 重 要 结论 
重点 验证 Virtual SAN 适 用 于 VMware Horizon Vlew 的 企业 级 存储 解决 方案 : 


- 性 能 可 预见 的 基于 Virtual SAN & T JI] Horizon View 应 用 系统 。 
- 简化 存储 管理 ， 消 除 传统 SAN 的 操作 与 维护 复杂 性 。 

` 提供 针对 企业 级 虚拟 桌面 系统 的 可 持续 应 用 平台 。 

降低 部 署 与 操作 风险 的 验证 架构 。 


` 通过 集成 技术 提供 高 可 用 、 业 务 连续 性 和 灾难 恢复 。 


第 13 音 ”基于 VMware 混合 架构 Virtual SAN 的 Horizon View 最 佳 实践 


13.1 ”业务 案例 


1.73389; 


本 方案 则 在 帮助 客户 一 IT 架 构 师 、 顾 问 和 管理 员 参 与 到 Horizon View 的 前 期 规划 、 设 计 和 部 署 中 。 目 的 在 于 提供 标准 的 、 


可 重 现 的 、 高 可 扩展 性 的 设计 ， 以 轻松 适 配 具体 的 环境 和 用 尸 需求。 本 万 案 基 于 VMware 在 生产 环境 部 署 中 的 大 量 实践 经 验 ， 以 
向 读者 提供 以 下 解决 万 案 : 


- 标准 化 的 、 已 验证 稳定 可 靠 的 组 件 。 
` 可 扩展 的 设计 ， 允 许 用 户 在 未 来 基于 需求 进行 升级 。 
. 已 验证 和 测试 的 设计 ， 以 帮助 降低 部 署 和 操作 风险 。 


` 快速 部 署 ， 降 低 成 本 ， 最 小 化 风险 。 


2. 重 要 结论 
重点 验证 Virtual SAN 适 用 于 VMware Horizon Vlew 的 企业 级 存储 解决 方案 : 


- 性 能 可 预见 的 基于 Virtual SAN 的 高 可 用 Horizon View 应 用 系统 。 
简化 存储 管理 ， 消 除 传统 SAN 的 操作 与 维护 复杂 性 。 

+ 提供 针对 企业 级 虚拟 果 面 系统 的 可 持续 应 用 平台 。 

` 降低 部 署 与 操作 风险 的 验证 架构 。 


- 通过 集成 技术 提供 高 可 用 、 业 务 连 续 性 和 灾难 恢复 。 


13.2 NERA 


1.VMware Horizon View 


Horizon View 是 企业 级 桌面 云 解 决 方案 ， 其 支持 最 终 用 户 安 全 灵活 地 访问 其 虚拟 桌面 和 应 用 程序 ， 并 利用 与 VMware 
vSphere 之 间 的 紧密 集成 ， 帮 助 客户 以 安全 托管 的 服务 形式 交付 桌面 。VMware Horzion View 具 有 极 强 的 可 扩展 性 与 可 靠 性 ， 
它 使 用 基于 Web 的 直观 管理 界面 创建 和 更 新 桌面 映像 、 管 理 用 户 数据 、 实 施 全 局 策略 等 ， 以 同时 代理 和 监控 数 以 万 计 的 虚拟 桌 
面 。 


管理 员 可 以 结合 VMware vCenter Server 使 用 View 来 创建 运行 在 ESXi 主 机 上 的 虚拟 桌面 ， 将 部 署 的 这 些 虚 拟 昌 面 投 递 给 终 
端 用 户 。 终 端 用 户 可 以 通过 MAC、Windows、Linux 甚 至 是 i|0S 与 Android 设 备 来 访问 这 些 虚 拟 桌 面 。 


2.VMware View Storage Accelerator 


在 vSphere5.0 以 及 更 高 版 本 中 ， 可 以 在 ESXi 主 机 上 局 用 缓 仔 虚拟 机 磁盘 数据 功能 ， 我 们 称 为 VMware View Storage 
Accelerator， 其 可 以 使 用 ESXi 主 机 中 的 Content Based Read Cache (CBRC) 功能 。View Storage Accelerator 可 以 在 发 生 
VORS (大 量 旨 面 同时 局 用 或 同时 运行 多 个 防 病毒 扫 摘 时 可 能 友 生 ) 时 提高 View 的 性 能 。 


13.3 方案 配置 


本 节 主 要 摘 述 如 何 配置 参考 以 构 组件 。 读 者 可 以 根据 目 身 设 计 环境 的 实际 需要 进行 修改 。 
13.3.1 架构 图 
在 基于 Horizon View 的 混合 架构 Virtual SAN 集 群 方 案 中 ，View 方 案 的 设计 架构 如 图 13-1 所 示 。 
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图 13-1 View 方案 的 设计 架构 


-View 连接 服务 器 一 一 台 View 连 接 服务 器 支持 上 达 2000 个 同时 会 话 的 连接 。 我 们 的 测试 由 两 台 View 连 接 服务 器 组 成 ， 运 行 


在 双 活 模式 下 。 


- View Block 一 View 通 过 vCentetf 部 置 和 管理 桌面 。 每 个 vCentet 实 例 支持 上 达 10000 个 虚拟 桌面 。 本 次 测试 使 用 了 一 个 


vCentet 实 例 和 一 个 拥有 4 节点 的 Vittual SAN 集 群 。Vittual SAN 每 台 主 机 支持 200 个 虚拟 机 ， 集 群 最 大 可 以 扩展 到 64 台 主机 。 
Qua 在 vSphetre 集 群 中 受 HA 保 护 的 最 大 虚拟 机 数量 为 6000 台 © 
: View 党 理 Block 一 用 于 管理 服务 器 的 一 个 独立 vVSphete 集 群 ， 用 来 将 虚拟 桌面 从 固定 的 服务 器 工作 负载 中 隔离 开 来 。 我 们 


的 测试 用 于 大 型 部 署 ， 此 使 用 专用 的 vCentet 管 理 和 View Block. 


13.3.2 ”硬件 资源 


为 支持 2400 个 虚拟 桌面 ， 需 要 部 署 12 节 点 的 Virtual SAN 集 群 (根据 服务 器 CPU 配置 的 不 同 ， 实 际 需要 的 服务 器 数量 有 上 所 不 
同 ) 。 每 台 服 务 器 拥有 相同 的 配置 ，ESXi 从 本 地 磁盘 局 动 。 为 了 管理 这 些 虚拟 机 ， 我 们 另外 使 用 4 人 台 相 同 的 服务 器 部 署 了 一 个 管 
理 集群 ， 并 且 局 用 了 集群 的 HA 和 DRS， 如 图 13-2 所 示 。 


Virtual SAN 使 用 直 连 在 ESXi 主 机 上 的 SSD 和 HDD,， 每 台 ESXi 主 机 拥有 两 个 磁盘 组 ， 每 个 磁盘 组 由 一 块 SSD 和 六 块 HHD 组 
成 。 这 些 磁盘 组 合并 组 成 Virtual SAN 数 据 人 存储 。Virtual SAN 集 群 中 的 每 台 ESXi 服 务 器 配置 如 表 13-1 所 示 。 
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13-2 vSphere JE EGET 
表 13-1 ESXi 主 机 配置 
m 性 具体 配置 
服务 大 数量 12 台 
主机 CPU 2 X Intel Xeon CPU E5-2690 v2 @ 3.00GHz 10-core (60GHz) 
主机 RAM 512 GB 
ESXi 版 本 ESXi 6.0.0, 2494585 
网 络 适 配 需 10Gb SFI/SFP+ 
存储 适 配 需 2XSAS 6 GB/s HBA 队列 深度 600 
能 源 管理 高 性 能 ( 在 BIOS 中 设置 ) 
"T SSD: 2X 800 GB SATA 6Gb/s 


HDD: 12X 1.2 TB 10K RPM 2.5 " 6Gbps SAS 64M 


13.3.3 ”软件 资源 


表 13-2 中 列 出 了 方案 中 用 到 的 软件 。 


13-2 


方案 用 到 的 软件 


备 注 


ESXi 集群 用 于 运行 虚拟 机 和 提供 Virtual SAN 集 
HE. VMware vCenter Server 提供 集中 化 的 平台 用 于 
管理 VMware vSphere 环境 


VMware Virtual SAN 基于 超 融 合 的 软件 定义 解决 方案 


Horizon View VMware 基于 vSphere 的 困 面 虚拟 化 解决 方案 


A t€ 


VMware vCenter 以 及 ESXi 


Microsoft SQL Server 2008 R2 企业 版 数据 库 软 件 
Windows Server 2008 R2 X64 SP1， 人 企业 版 HF tilg VMware vCenter server 


业界 标准 的 基准 测试 工具 ， 用 于 测量 集中 困 面 环 


indica $ 境 的 性 能 和 可 扩展 性 


13.3.4 网 络 


虚拟 网 络 分 布 式 交换 机 作为 一 从 单独 的 虚拟 交换 机 横 跨 数据 中 心中 所 有 的 主机 。 这 一 配置 允许 虚拟 机 在 多 台 主 机 间 迁 移 时 维 
持 永 久 的 网 络 配 置 。 虚 拟 网 络 分 布 式 交换 机 在 每 台 主 机 上 使 用 了 两 个 10GbE 适 配器 ， 如 图 13-3 所 示 。 


关于 安全 、 流 量 控制 、NI1C 流 等 属性 可 以 在 端口 组 中 定义 。 表 13-3 展 示 了 本 次 设计 使 用 的 设置 。 
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图 13-3 分布 式 虚 拟 交 换 机 配置 
表 13-3 端口 组 属性 一 分 布 式 交换 机 6.0 


混杂 模式 H 


负载 均衡 基于 物理 NIC 负载 的 路 由 
故障 转移 侦 测 只 警告 链 路 状态 

通知 交换 机 
策略 : 资源 分 配 网 络 VO 控制 


高 级 最 大 MTU 1500 


在 分 布 式 交 换 机 中 局 用 网 络 l/O 探 制 。 表 13-4 中 列 出 了 应 用 在 资源 分 配 中 的 设置 和 份额 值 。 











策略 : 流 和 故障 转移 





表 13-4 虚拟 分 布 式 交 换 机 用 于 网 络 资源 的 资源 分 配 


网 络 资源 池 主机 限制 (MBPS ) 份额 (百分比 ) 


管理 无 限制 正常 50 
( ZÈ ) 


TIT AUR (MBPS) wim CR) 


13.3.5 ”存储 控制 器 模式 


存储 控制 器 同时 支持 直通 模式 和 RAID 模 式 。 在 测试 中 ， 推 荐 首选 直通 模式 作为 存储 控制 器 模式 ， 这 样 Virtual SAN 可 以 完全 
控制 连接 到 存储 控制 器 的 本 地 SSD 和 HDD。 


13.3.6 Virtual SANBOE 


浮动 链接 克隆 和 复制 使 用 Virtual SAN 的 存储 。 每 台 ESXi 主 机 拥有 相同 的 配置 ， 包 括 两 个 磁盘 组 ， 每 个 磁盘 组 由 一 个 800GB 
的 SSD 和 六 个 1.2TB 的 10K SAS 盘 组 成 ， 如 图 13-4 所 示 。SSD 用 于 缓存 层 (固定 为 70% 读 缓存 和 30% 的 写 缓存 ) 。 只 有 机 械 磁 盘 
为 数据 存储 提供 可 用 存储 空间 。12 台 主机 忌 计 共享 172.8TB 神 容 量 。 
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图 13-4 Virtual SAN 数 据 存 储 组 件 





由 于 在 Virtual SAN 中 读 I/O 操 作 来 自 缓 仔 层 ， 虚 拟 梨 面 复 制 不 需要 仓储 在 缓 仓 仓储 的 分 此 层 。 
(1) 基于 VDI 的 Virtual SAN 存 储 策略 


如 果 虚 拟 机 部 署 在 Virtual SAN 数 据 存储 中 ，Virtual SAN 可 以 针对 每 从 虚拟 机 设置 高 可 用 性 、 容 量 和 性 能 策略 。Horizon 
View 可 以 目 动 创建 默认 存储 策略 ， 如 图 13-5 和 图 13-6 所 示 。 对 于 弹性 测试 ， 设 置 如 表 13-5 所 示 。 


Qua 浮动 池 的 故障 容忍 数 默认 值 为 0。 


表 13-5 Virtual SAN 针 对 View 的 存储 设置 


存储 策略 ix E 
允许 的 故障 数 I 
每 个 对 象 的 磁盘 条 上 审 数量 | 
( 续 ) 
存储 策略 ix E 
内 存 读 缓存 预 留 (百分比 ) 0% 


对 象 空间 预 留 (百分比 ) 0% 
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2: 
[à Filter 


vid Sbosngs Police Cnmplianrce Skater Last Checked 





Eg vi home ER v HOME e7?7453T1ü0b-eg11-41D27-a52B8-gBDUS5dZbTebe; + Campliant 52713015 11:34 ANI 
jw Hard disk? FF OS. DISK, e745910b-8811-4027-528-9805d4bTeb87 > Compliant 5/27/2015 11:34 AM 
My Hard disk | E OS DISK e'4d5910b-8811-102 7-35 13-MBD5d4 b eba 7 wf complant | 52712015 11:24 AM 
Ëy Hard disk 3 ER Os DIEK eT45)iüb-ss11-4027-a838-G805d4bTeba7 ^ sw Compliant 5/22/2015 11:34 AM 
Ëy Hard disk 4 EF PERBIETENT DISK, eT458üb-es1i-4027-a528-980.. ww Compliant 5/27/2015 11:34 AM 
Èy Hard disk $ Ef O8 DIEK BT459iÜb-sa11-4027-a528-üBD5d4bTeba7 — ¢ Compliant 5/27/2015 11-24 AM 





Name and description Rule-Set 1 


Select rules specific for a datastore type. Rules can be based on dala services provided by datastore or based on fags. 
The VM storage policy will match datastores that satisfy all the rules in atleast one of the rule-sets. 


Rules based on data services | VEAN | = Storage Consumption Model 


Number of disk stripes per object 1 ~~ 7 — ^ virtual disk wilh size 100 GB 
would consume: 


Flash read cache reservation (%) 9 (0.0000 | e Storage space 


200.00 GB 


Number of failures to tolerate @ i | e Initially reserved storage space 


| 0.00 日 
Object space reservation (%) @ [n | e Reserved flash space 


0.008 
[ «add rules |» 


Rule-5et 7 


Rules based on tags 


Add tag-based rule... 


| Add another rule set | Remove this rule set | 





图 13-5 ”View 为 具体 的 桌面 池 自动 创建 存储 策略 


i3 desktop-2: Manage VM Storage Policies 


Select a common storage policy for all storage objects or use the table below to define different policies for the different storage objects. 


VM storage policy | VM, HOME, 7099256b-eb81-46b1-b412-b7faf.. | ¥ | | Apply to all | 


Name Disk Size VM Storage Policy Datastore Datastore Type 
[a VM home VM HOME 7098256b-8b91-46b1-b412-.. | Bj vsanDatastore vsan 
& Hard disk 1 30.00 GB OS DISK FLOATING 7098256b-eb91-.. | Bj vsanDatastore vsar 
Eg Hard disk 2 1.00 GB OS DISK FLOATING 7099256b-eb91-.. | HJ vsanDatastore vsar 
gj Hard disk 3 2 00 GB PERSISTENT DISK 70992586b-eb91-4.. | EJ vsanDatastore vsan 


E Hard disk 4 20.00 MB OS DISK FLOATING 7099256b-eb91-.. | HJ vsanDatastore vsan 


Predicted impact on storage consumption: 


ES Os DISK FLOATING 7099256b-eb981-46b1-b412-b7Taf7638ae8: Edit VM Storage Policy 
Name and description Rule. Set 1 
Select rules specific for a dalastore type. Rules can be based on dala sarvices provided by dataslore or based on tags. 
Rule-5et 1 Tha VM storage policy will match datastoras that satisfy all tha rules in atleast one of thia rula-sats. 
Storage compatibility 
Rules based on data services | VSAN - Storage Consumption Model 


Number of disk stripes perobject €» 1 | Ma | Aua dak wih size 100 co 


would consume: 


Flash read cache reservation (%) @ [0.0000 | e Storage space 


100.00 GB 


Humber of failures to tolerate Li] | e Initially reserved storage space 


0.008 


Object space reservation (%) @ 0 | © Reserved flash space 


a 0.00 B 
| dd rule» | = | 





























Rules based on tags 


Add tag-based rule 


Add another rule set | Remove this rule set 


| OK || Cancel J 
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(2) Virtual SAN 故 障 域 


故障 域 在 Virtual SAN6.0 引 入 了 更 高 级 别 的 可 用 性 。Virtual SAN 故 障 域 通 过 定义 集群 中 的 故障 域 以 确保 虚拟 机 数据 的 副本 
分 散在 定义 的 故障 域 中 (HR) 。 这 一 特性 使 机 架 发 生 故 障 时 ，Virtual SAN 中 的 虚拟 机 运行 不 受 影响 。 


在 指导 原则 中 ， 容 忍 N 台 主机 故障 需要 集群 中 拥有 2N + 1 台 主 机 。 与 此 类 似 ， 容 忍 N 个 故障 域 ， 需 要 2N + 1 个 故障 域 。 
表 13-6 列 出 了 12 个 节点 的 Virtual SAN 集 群 的 故障 域 配置 。 


表 13-6 12 个 节点 的 Vittual SAN 集 群 的 故障 域 配置 


R Mu J A | Bo | 
kn 


13.3.7 Horizon Viewats 
Horizon ViewBS zzz RROAN MALRA: 
` 两 侣 连接 服务 器 (在 生成 环境 推荐 N 十 1) o 
一 合 vCenter 服 务 器 (vCenter Appliance) ， 用 于 承担 以 下 角色 : 
: vCenter 
- vCenter single sign-on (SSO) 
: vCenter Inventory Service 
- View Composer. 
全 注意 “在 林 测 试 中 没有 使 用 安全 服务 器 。 
(1) View 的 整体 策略 
所 有 的 系统 测试 都 使 用 表 13-7 的 整体 策略 。 


表 13-7 View 的 整体 策略 


策略 特性 
多 媒体 重 定向 (MMR) 
远程 模式 
PCoIP 硬件 加 速 


(2) VMware View 管 理 器 整体 策略 


VMware View 管 理 器 使 用 表 13-8 的 整体 策略 。 


表 13-8 View H R X X uh 


View 管理 员 会 idi 超 时 


强制 断 开 用 户 


3 


设 B 


允许 


允许 
允许 - 中 等 优先 


配置 信息 
600 分 钟 


9999 分 钟 


B 性 配置 信息 

Single sign-on (SSO) 局 用 

对 于 客户 端 文 持 的 应 用 

如 果 用 户 停止 使 用 键盘 和 鼠标 断 开 其 应 用 并 取消 SSO 证 书 p 

mH sso E Mid 
日 动 更 新 关闭 

TRE HEB As 

在 强制 登 出 前 显示 警告 是 


开启 Windows Server 2008 R2 5 [fij 


ay 


(3) vCenter Serveriz& 


Viewed os sss FHvCenterBlz os SEP EHRIESHRViewsgRIB, vCentertks se View: THES FH BO EIU 13-9901. 


13-9 ”View 管理 器 一 vCentet 服 务 器 配置 


E 性 具 体 
描述 View vCenter 服务 需 
连接 使 用 SSL 是 
vCenter jj L 443 
View Composer "jj L 18 443 
局 用 View Composer 是 
高 级 设置 : 
最 大 同时 执行 vCenter 部 署 操作 20 
最 大 同时 执行 电源 操作 50 
最 大 同时 执行 View Composer 维护 操作 12 
最 大 同时 执行 View Composer 部 在 操作 12 
存储 设置 : 
启用 View 存储 加 速 onde 
默认 主机 缓存 大 小 


(4) View 管 理 器 测试 池 设 置 
表 13-10 列 出 了 View 管 理 器 测试 池 设 置 。 


413-10 ”View 管理 器 一 测试 池 设 置 


m 性 具体 参数 
池 的 类 型 日 动 池 


Hi P dC 


ie X —vCenter Server 


池 ID 


显示 名 称 
View 文件 来 目录 
远程 从 面 电源 策略 

目 动 登 出 时 间 
多 许 用 户 重 置 
多 许多 个 会 话 
在 登 出 后 删除 
显示 协议 

fL VE EM I mi 
最 太 显 示 器 数量 
最 大 分 辩 率 
HTML 访问 
Flash 质量 等 级 
Flash Throttling Level 
局 用 部 署 

出 错时 停止 部 署 
UE PE ATA 2 ii 
一 次 性 文件 重 定 问 
选择 独立 的 数据 和 存 尽 用 于 副本 和 OS 
数据 存储 一 存储 过 载 
使 用 View 存储 加 速 

回收 VM 磁盘 空 用 
磁盘 类 型 

重新 生成 存储 加 速 
使 用 快速 


13.4 “万 案 验证 


13.4.4. 测试 综述 


R oW Ss 
VE al] 

链接 克隆 

58. [fij 

ted. [Ii] 


不 做 电源 操作 


1920 x 1200 
未 选中 

不 控制 

关闭 

启用 

启用 

启用 

不 重 定向 


不 选择 


本 方案 通过 在 VMware 的 虚拟 化 环境 中 运行 Horzion View， 来 验证 Virtual SAN 数 据 存储 的 性 能 。 测 试 场景 包括 : 
- 在 Hotizon View 中 使 用 Login VSI 测 试 中 等 和 重度 工作 负载 
: 使 用 Horizon View 执 行 日 常 果 面 的 管理 操作 。 


在 硬件 故障 场景 下 Virtual SAN 弹 性 应 对 硬件 故障 : 存储 节点 故障 。 
13.4.2 ”测试 工具 及 测试 方法 


Login Vs 是 业界 标准 的 基准 测试 工具 ， 用 于 测量 集中 桌面 环境 的 性 能 和 可 扩展 性 。 M VSI 在 测试 中 会 逐渐 增加 模拟 用 户 
的 数量 ， 直 至 系统 的 性 能 出 现 饱和 和。 当 系 统 饱 和 时 ， 应 用 程序 啊 应 时 间 的 增加 人 至 天 重要 。 这 一 延迟 意味 背 系 统 几 乎 临近 过 载 。 通 
过 系统 接近 过 载 来 找 出 系统 的 最 大 用 户 容量 。 


测试 运行 后 ， 通 过 响应 时 间 可 以 分 析 估 计 每 人 台 桌 面 的 最 大 活路 会 话 容 量 。 这 一 参数 称 为 VSImax。 当 系统 临近 其 饱和 点 时 ， 
响应 时 间 延 长 。 通 过 审查 平均 响应 时 间 ， 用 户 可 以 看 到 响应 时 间 在 饱和 点 逐渐 延长 。 


Login VSI 系 统 组 件 如 图 13-7 所 示 。 


e Windows OS machine 
e Running Horizon View Client 


'' VSI Launcher(s) 


Windows Server . Windows Desktop 


Y Horizon Running Horizon View Agent 
Login VSI Binaries : i i : 
Logfiles Q VSI Share View ; Microsoft Office and Login VSI 


Desktops Application set 


Configuration User Simulation Scripts 


Active Directory | 
Domain (Optional) .…” 


e Windows Domain Controller 
e Group Policy Objects for Login VSI 
e AD Users and Groups for Horizon View Pools 





图 13-7 Login VSI 系 统 组 件 


当 模 拟 Login VslI 用 户 登 入 运行 普通 办 公用 户 活 动 时 ， 模 拟 提 面 工作 负载 是 一 个 48 分 钟 的 循环 脚本 。 在 脚本 运行 完成 后 ， 其 
会 从 头 开始 重新 执行 。 在 每 个 循环 中 ， 啊 应 时 间 以 固定 的 时 间 间 隅 测量 : 每 个 循环 12 次 。 这 尝 操 作 的 啊 应 时 间 决 定 了 Vslmax 的 
值 。 


测量 在 表 13-11 中 列 出 的 操作 响应 时 间 。 


表 13-11 Login VSI 操 作 


JH 用 Microsoft Word Jf $ 人 





WSLD ged Oe n Word 从 文件 池 中 启动 / 载 人 本 地 随机 文档 | CPU, WF, UO 
随机 文档 
"VP VSI- 从 文件 池 zi / ae A Hh 
SED = EJ VSI-Notepad 并 载 人 文档 | ,. V SI Notepad 从 文件 池 中 局 动 / 载 和 本 地 | cpU yo 
随机 文本 
WFO 打开 VSI-Notepad 文件 在 VSI-Notepad 中 打开 文件 [Ctrl+O] CPU, Pjff, I/O 
NFP 打印 VSI-Notepad 文件 在 VSI-Notepad 中 打印 [Ctrl+ P] CPU 
ZHC 以 高 压缩 比率 压缩 文件 从 文件 池 中 压缩 本 地 随机 文件 .pst (5 MB)| CPU 
ZNC 无 压缩 比率 压缩 文件 从 文件 池 中 压缩 本 地 随机 文件 .pst(SMB) | LO 





Login VSl 拥 有 内 建 工 作 负 载 ， 所 以 测试 人 员 无 须 前 期 准备 丈 可 以 立刻 开始 进行 测试 。 
1. 中 等 工作 负载 


Login VSI 在 默认 情况 下 进行 中 等 工作 负载 测试 ， 其 模仿 一 个 知识 型 员工 使 用 Miscrosoft Office, Internet Explorer, PDF 
文件 、Java 和 FreeMind 等 应 用 程序 。 中 等 工作 负载 被 设计 运行 在 拥有 两 个 vCPU 的 虚拟 机 上 ， 并 拥有 以 下 特性 : 


| 在 会 话 开 始 后 ， 工 作 负 载 每 418 分 钟 循环 往复 一 次 。 
` 一 个 循环 被 分 割 为 4 段 ， 在 每 一 段 Login VSI 用 户 都 会 重新 登录 ， 以 确保 工作 负载 中 所 有 的 元 素 在 测试 中 都 被 平等 使 用 。 
- 在 每 个 循环 期 间 ， 响 应 时 间 每 3~4 分 钟 就 会 测量 一 次 。 
5 个 应 用 被 同步 开 居 。 
` 键盘 输入 速度 为 每 160 毫 秒 一 个 字符 。 
` 每 个 循环 包含 2 分 钟 限 制 时 间 ， 用 于 模拟 真实 用 户 的 行为 操作 。 
每 个 循环 打开 和 使 用 : 
-Outlook 用 于 浏览 信息 。 
- Internet Exploretr， 浏 览 不 同 的 页 面 ; 每 个 循环 播放 三 次 YouTube 类 型 的 视频 (480P) o 
Word， 同时 开局 两 个 ， 一 个 用 于 测量 响应 时 间 ， 一 个 用 于 审查 和 编辑 文档 。 
- Doro PDF PrinterfeAcrobat Readet， 打 印 和 审查 PDF 文件 。 
` Excel， 打 开 大 型 的 随机 表单 。 
- PowerPoint， 用 来 审查 和 编辑 PPT。 
- FreeMind， 基 于 Java 的 思维 导 图 应 用 。 
2. 重 度 工作 负载 


重度 工作 负载 需要 Login VSI PRO 内 容 库 ， 其 中 包含 720P 和 1080P 的 视频 。 除 了 中 等 工作 负载 中 需要 执行 的 任务 外 ， 重 度 
工作 负载 还 包 合 以 下 特性 : 


- 开始 时 打开 4 个 Internet Explorer， 实 例 的 打开 贯穿 整个 工作 负载 循环 。 


- 开始 时 打开 两 个 Adobe Readet， 实 例 在 整个 工作 负载 循环 保持 开启 。 
: 更 多 的 PDF printer 操 作 。 

. 观看 720P 和 1080P 视 频 。 

- 增加 玩 Flash 游 戏 的 时 间 。 

+ 闲置 时 间 降 低 到 2 分 钟 。 


3. 虚 拟 机 测试 镜像 版 本 


表 13-12 列 出 了 基础 镜像 的 配置 。 该 配置 遵从 测试 工具 标准 并 且 根 据 《VMware Horizon with View Optimization Guide 


for Windows7and Windows8》 进 行 优化 。 通 过 VMware OS 优化 工具 进行 更 改 。 


表 13-12 虚拟 机 测试 镜像 


属 性 
果 面 操作 系统 
人 硬件 
CPU 
内 存 
内 存 预 留 
视频 RAM 
3D 图 形 
网 卡 数 
虚拟 网 络 适 配 融 1 
虚拟 SCSI 控制 器 0 
虚拟 磁盘 一 VMDK 1 
虚拟 磁盘 一 VMDK 2 
虚拟 软盘 驱动 器 1 
虚拟 CD/DVD 驱动 器 1 


应 用 程序 


属 性 
VMware Tools 
VMware View 代理 


13.4.3 Login VSI4.1 工 作 负 载 测 试 


Login VSI 镜像 
Windows 7 企业 版 SP1 (32 fiz) 
VMware 虚拟 硬件 版 本 8 
2 
1536 MB 
0 MB 
35 MB 
Off 
] 

VMXNet3 id AC s 
Paravirtual 

24 GB 

] GB 

移 除 

移 除 


Adobe Acrobat 11 
Adobe Flash Player 16 
Doro PDF 1.82 
FreeMind 

Internet Explorer 9 
MS Office 2010 


Login VSI 镜像 
9.0.10 build-2445092 
6.0.2.-2331487 


本 测试 使 用 Login VSI4.1 载 入 系统 ， 通 过 使 用 常用 的 应 用 程序 ， 如 Microsoft Office, Internet Explorer 和 Adobe 
Reader， 来 模拟 栗 面 工作 负载 。 


通 党 情况 下 ，VDI 工 作 负 载 是 CPU 紧 密 型 的 。 从 存储 角度 来 说 ， 如 果 主 机 的 CPU 规 划 得 当 ，Virtual SAN 每 侣 主机 可 以 支持 
-Ei&200^-sg[B., fELogin VSI 测 试 期 间 ， 我 们 友 现 服务 器 在 具体 的 工作 负载 下 存在 CPU“ 浇 贷 ”。 因 此 ， 我 们 把 注重 点 放 在 观 
安置 了 1600 人 台 桌 面 的 Virtual SAN 性 能 上 。 测 试 中 分 别 测试 中 等 工作 负载 和 重度 工作 负载 ， 两 个 工作 负载 都 是 100% 并 友 。 


Ex 
Qum VMwate 并 不 推荐 主机 的 CPU 利 用 率 超过 80%。 
测试 1: 1600 个 中 等 工作 负载 的 链接 克隆 桌面 


在 测试 1 中 ， 平 均 主 机 CPU 利用 率 达 到 了 95%， 如 图 13-8 所 示 ， 安 置 有 1600 台 桌面 的 所 有 ESXi 主 机 都 在 100% 并 上 友 的 中 等 工 
作 负 载 下 进行 测试 。 虽 然 CPU 在 高 利用 率 状态 下 ,但 是 VSImax V4.1IF i PARRA 


VSimax v4 
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Stuck sessions-12 
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Active Sessions 
图 13-8 VSImax #16008 x dj $3 Login VSI 中 等 工作 负载 下 没有 耗 尽 系统 资源 


可 以 查看 VSImax introduction 获 取 更 多 信息 。 


在 Login Vsl 中 等 工作 负载 测试 下 ， 桌 面 集群 的 CPU 利用 率 如 图 13-9 所 示 。 


800 1000 1200 1400 1600 


Desktop Cluster ESX host 1 





图 13-9 Login VSI 中 等 工作 负载 测试 下 ， 桌 面 集群 的 CPU 利用 率 


如 图 13-10 所 示 ，ESXi 平 均 延 迟 人 在 3.3 军 秒 ， 峰 值 仪 在 MO 索 密 阶段 超过 8 坚 秒 ，IOPs 超 过 了 8700。 


BY QO Q0» AP OP wo am 
Sd ME DT DE Po” oh 


9 VY SI (9 od 
gr qu qe um ge e 


—— ESX IOPS 





图 13-10 Login VSI 中 等 工作 负载 期 间 ，ESXi 的 IOPS 和 ESXi 的 延迟 数值 对 比 


图 13-11 展 示 了 ESXi 在 Login VSI 中 等 工作 负载 测试 期 间 的 CBRC 命 中 率 ， 平 均 命中 率 超过 80%。 


0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 


CBRC Hit Rate 





图 13-11 ESXi#iLogin VSI 中 等 工作 负载 测试 期 间 的 CBRC 命 中 率 
测试 1 的 测试 结果 重点 主要 有 以 下 几 个 方面 ， 如 图 13-12 所 示 : 
: VSImax v4.1 能 够 达到 1600 个 桌面 。 
CPU 利 用 率 高 ， 但 是 内 存 利用 率 依旧 保持 在 60% 以 下 。 
- 中 等 工作 负载 下 的 ESXi 草 越 平 均 延 迟 〈 平 均 延 迟 为 3.3 毫 秒 ， 峰 值 延 迟 8 毫 秒 ， 每 台 ESXi 主 机 的 IOPS 超 过 8700) 。 


: Virtual SAN 数 据 存 储 的 峰值 IOPS 可 以 达到 104800 (51% 的 写 入 和 49% 的 读 取 ) o 
CPU Fil Hii = = 63 299 MHz 


网 络 适 配 各 XMIT 56 385 / RCV 78 039 KBps 


内 存 利 用 率 igs, 260.92 GB 


存储 适 配 带 [D ' | 8763 IOPS 





图 13-12 ”ESXi 参数 (测试 1) 


测试 2: 1600cr8J& T l FG EB DERE ve e ee E 


在 测试 2 中 ，100% 并 上 友 的 重度 工作 负载 下 ， 所 有 的 ESXi 主 机 的 CPU 饱和 在 100?6 利 用 率 。Vslmax v4.1 在 基准 测试 下 可 以 满 
足 1313 个 琳 面 同时 会 话 ， 如 图 13-13 所 示 。 
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图 13-13 7£16004 fj Login VSI 重 度 工 作 负 载 下 VSImax 最 大 可 以 达到 1313 


在 Login VSI 重 度 工作 负载 期 间 ，ESXi 主 机 的 CPU 利用 率 如 图 13-14 所 示 。 
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图 13-14 Login VSI 重 度 工作 负载 期 间 ，ESXi 主 机 的 CPU 利用 率 
如 图 13-15 所 示 ，ESXi 平 均 延 迟 为 4.3 毫 秒 ， 在 MO 紧密 阶段 ， 峰 值 延迟 超过 9 毫秒 ，IOPS 达 到 12609。 


图 13-16 展 示 了 在 Login VSl 重 度 工作 负载 测试 期 | 间 ，ESXiI 的 CBRC 命 中 率 。 平 均 命 中 率 超过 70%。 
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图 13-15 Login VSI 重 度 工作 负载 期 间 ，ESXi 平 均 IOPS 和 ESXi 平 均 延迟 的 数值 对 比 
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图 13-16 Login VSI 重 度 工作 负载 测试 期 间 ，ESXi 的 CBRC 命 中 率 
测试 2 的 重点 主要 有 以 下 几 个 方面 ， 如 图 13-17 所 示 。 
- VSImax v4.1 下 有 1313 个 桌面 可 以 同时 会 话 。 
CPU 利 用 率 非 常 高 ， 但 是 内 存 利 用 率 依 昌 保 持 在 60% 以 下 。 


- 重度 工作 负载 下 的 ESXi 剖 越 平均 延迟 (平均 4.3 上 毫秒 延迟 ， 峰值 延迟 9 毫秒 ， 每 台 ESXi 主 机 的 LOPS 超 过 12609) , 


- Virtual SAN 数 据 存储 的 峰值 IOPS 可 以 达到 151308 (51% 的 写 入 和 49% 的 读 取 ) 。 


CPU 利用 率 68 012 MHz 


内 存 利用 率 


网 络 适配器 XMIT 91 950 / RCV 98 620 KBps 


存储 适 配 需 12 609 IOPS 





图 13-17 ESXi 主 机 参数 (测试 2) 


13.4.4 Horizon View 操作 测试 


1. 部 署 2400 个 链接 克隆 桌面 


在 测试 中 ， 在 Virtual SAN 数 据 存 储 中 部 署 一 个 拥有 2400 个 链接 克隆 虚拟 桌面 的 池 ， 每 台 ESXi 主 机 大 约 可 以 放置 200 个 桌 
面 。 为 完成 测试 ，View Composer 在 Virtual SAN 数 据 仔 储 中 创建 了 24GB 的 基础 镜像 副本 。View Composer REHITA 
定制 ， 并 将 桌面 加 入 到 | 活动 目录 域 中 。 之 后 ， 对 虚拟 桌面 进行 快照 并 使 其 虚拟 桌面 进入 可 用 状态 。 


View 管 理 控制 器 部 署 2400 个 Windows7 链 接 殉 隆 虚 拟 提 面 并 将 这 些 桌 面 变 为 可 用 状态 ， 忆 耗 时 小 于 195 分 钟 ， 如 图 13-18 所 
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图 13-18 View 部 署 操 作 一 2400 个 链接 克隆 虚拟 桌面 


2. 刷 新 2400 个 链接 克隆 昌 面 


在 刷新 操作 中 ， 虚 拟 昌 面 回 溢 到 之 前 的 快照 状态 。 每 个 虚拟 桌面 的 操作 系统 磁盘 恢复 到 原始 状态 ， 包 括 磁盘 尺 圳 。 


刷新 2400 个 Windows7 链 接 克 隆 虚 拟 昌 面 到 其 原始 基础 镜像 状态 总 耗 时 为 207 分 钟 ， 如 图 13-19 所 示 。 
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E13-19 View 刷新 操作 一 2400 个 链接 克隆 虚拟 桌面 
3. 重 建 2400 个 链接 克隆 梨 面 


在 重建 操作 中 ， 虚 拟 桌 面 操作 系统 磁盘 变 为 新 的 基础 镜像 和 快照 。 管 理 员 能 更 简便 地 为 操作 系统 打 补 丁 或 进行 软件 更 新 。 在 
这 一 操作 中 ，View Composer 在 Virtual SAN 数 据 仔 储 中 创建 新 的 基础 镜像 副本 ， 为 每 个 虚拟 梨 面 创建 新 的 操作 系统 磁盘 ， 删 除 
原 有 了 磁盘。 新 的 桌面 和 其 快照 被 创建 。 


重建 2400 个 Windows7 链 接 克 隆 虚 拟 梨 面 到 新 基础 镜像 总 耗 时 为 390 分 钟 ， 如 图 13-20 所 示 。 
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图 13-20 View € £& S&1E—2400 ^4 4c St T EUR 
4. 删 除 拥有 2400 个 链接 克隆 梨 面 的 池 


本 测试 删除 一 个 桌面 池 及 相关 虚拟 桌面 和 副本 。 删 除 拥有 2400 个 链接 克隆 桌面 的 池 大 约 花费 了 195 分 钟 ， 如 图 13-21 所 示 。 
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图 13-21 View 池 删 除 操 作 一 2400 个 链接 克隆 虚拟 桌面 


5. 局 动 2400 个 桌面 


启动 测试 通过 vCenter 在 拥有 12 节 点 的 Virtual SAN 集 群 上 通过 vCenter 进 行 启 动 测 试 。 虚 拟 桌 面 准备 好 Windows 用 户 登 录 
只 花费 了 18 分 钟 ， 如 图 13-22 所 示 。 每 台 主 机 的 CPU 利用 率 在 半 小 时 内 接近 全 满 。 


Desktop cluster 





图 13-22 View 局 动 操 作 一 2400 台 链接 克隆 虚拟 桌面 


13.4.5 ”弹性 测试 : 单个 节点 故障 


我 们 在 12 台 主机 的 Virtual SAN 和 集群 上 运行 2400 个 虚拟 桌面 。 在 模拟 工作 负载 下 的 集群 中 模拟 单个 Virtual SAN 节 点 硬件 故 
障 ， 单 节点 故障 恢复 时 间 如 图 13-23 所 示 。 
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图 13-23 ”弹性 测试 一 单 节点 故障 恢复 时 间 


重 置 一 台 运 行 了 198 个 虚拟 朱 面 的 ESXi 主 机 ， 所 有 虚拟 机 变 得 不 可 用 。VMware vSphere 高 可 用 在 Virtual SAN 的 其 他 书 点 
LEARRA, BNE (截止 到 用 户 可 以 登录 ) 总 耗 时 16 分 钟 。 


数 分 钟 后 ，Virtual SAN 节 点 的 电源 恢复 。 节 点 重新 加 入 Virtual SAN 集 群 ， VMware vSphere 分 布 式 资 源 调度 在 集群 中 的 
所 有 ESXi 主 机 之 间 重 新 平衡 负载 。 


Qus 单 节 点 故障 在 主机 故障 被 检测 到 后 ， 不 会 立刻 触发 重建 。 如 果 检 测 到 一 个 返回 I/O 错 误 的 故障 ， 例 如 ， 机 械 磁 盘 
或 SSD，Virtual SAN 通 过 重建 磁盘 对 象 立刻 反馈 。 人 但是， 主机 故障 不 会 反馈 LI/O 错 误 ，Vittual SAN 在 组 件 重 建 之 前 ， 会 存在 配置 
修复 延 识 时间 (RADE) o Virtua SAN 在 重建 时 优先 处 理 当 前 的 工作 负载 ， 从 而 使 重建 对 集群 性 能 的 影响 降 到 最 低 值 。 


13.5 在 Virtual SAN 上 部 署 VDI 的 最 住 实践 


13.5.1 Virtual SAN 配 置 原则 


Virtual SAN 通 过 ESsXi 主 机 的 本 地 下 连 设备 构建 分 布 式 对 象 仓储 。 在 混合 杂 构 Virtual SAN 配 置 中 ， 其 以 磁盘 组 的 形式 将 SSD 
和 磁盘 池 化 为 单独 的 管理 结构 。VMware 推 荐 使 用 同等 配置 和 规模 的 ESXi 主 机 来 构建 Virtual SAN 集 群 。 


1. 磁 盘 组 


磁盘 组 是 机 械 磁 盘 和 SSD 的 组 合 ， 其 中 SSD 作 为 读 缓 仔 和 写 缓冲 。 每 个 磁盘 组 必须 拥有 一 个 39D 和 至 少 一 块 机 械 磁 盘 (最 多 
7 块 ) 。 每 个 ESXi 主 机 最 多 可 以 有 5 个 磁盘 组 。 


机 械 磁 盘 的 种 类 决定 了 性 能 等 级 和 容量 需求 。 对 于 链接 克隆 ， 推 荐 每 个 磁盘 组 至 少 使 用 3 块 10K 或 12K 的 机 械 磁 盘 。 当 一 块 


独立 的 机 械 磁盘 有 80% 被 使 用 时 ，Virtual SAN 会 再 平衡 到 其 他 机 械 磁 盘 中 去 。 这 一 行动 会 在 集群 中 友 生 性 能 过 载 。 


推荐 的 SSD 尺 寸 为 忌 计 消耗 存储 容量 的 10% (不 考虑 FTT) 。 例 如 ，2400 个 链接 克隆 梨 面 的 池 中 ， 每 个 虚拟 昌 面 需要 使 用 
5GB 磁 盘 空 间 ， 即 10%x (2400x5) =1200GB, 


在 12 台 主机 的 Virtual SAN 集 群 中 ， 每 台 主 机 的 最 小 推荐 SSD 尺 寸 为 100GB。 只 用 磁盘 可 以 给 集群 提供 容量 。 集 群 容量 等 
EE 


主机 数量 X 磁盘 组 数量 X 每 个 磁盘 组 机 械 磁 盘 的 数量 X HU aE EE RT 


在 我 们 的 测试 配置 中 ， 容 量 为 : 12x2x6x1.2TB = 172.8TB, 





号 注意 ”对 于 2400 个 链接 克隆 的 池 ， 我 们 没有 使 用 每 个 磁盘 组 的 所 有 容量 。 需 要 的 容量 基于 尺寸。 
2. 对 象 和 组 件 


Virtual SAN 对 象 包括 虚拟 机 主页 (命名 空间 ) 、 虚 拟 机 交换 文件 、 虚 拟 机 磁盘 格式 文件 (VMDK) 以 及 快照 。 合 名 空间 包 
括 VSA 文 件 、 日 志文 件 和 虚拟 机 配置 文件 。 


每 台 虚 拟 机 在 创建 时 都 会 声明 相应 的 组 件数 量 。Virtual SAN 在 每 台 主 机 中 最 多 支持 9000 个 组 件 。 
VMware 推荐 使 用 默认 策略 ，Virtual SAN 和 Horizon View 的 默认 存储 策略 如 下 : 


: FIT—1 


用 户 可 以 使 用 如 下 公式 估算 每 个 桌面 的 组 件数 量 。 其 基于 FTT 设 置 创建 的 副本 和 见证 。 组 件数 量 的 结果 分 散在 集群 的 所 有 主 
机 上 。 


组 件数 量 二 对 象 X [FITX2 十 1] 


在 Horizon View6.0 中 ，Horizon View 详 细 说 明了 其 在 部 署 时 采用 的 Virtual SAN 人 存储 策略 ; 其 针对 浮动 桌面 使 用 FTT = 0， 
相 比 Horizon View5.3 在 每 台 主 机 /集群 中 安置 了 更 少 的 组 件 。 对 于 其 他 种 类 ， 默 认 FTT = 1， 其 他 对 象 磁盘 条 带 = 1。 


表 13-13 列 出 了 每 个 虚拟 梨 面 类 型 的 黑 认 对 象 数量 。 表 13-14 为 每 个 View 提 面 类 型 的 黑 认 对 象 数量 。 


表 13-13 每 个 View 桌 面 磁 盘 类 型 的 默认 对 每 数量 


TARN 闪存 读 取 缓 存 预 | ”故障 容忍 数 。 | ”对 象 空间 预 留 
条 市 数 留 (% ) (FTT) (96) 
Full Clone Disk oo a 0] 0 ] a0 100 
Full Clone Disk Floating |o a ee | ooo 100 


表 13-14 每 个 View 桌 面 类 型 的 默认 对 象 数量 





浮动 果 面 连接 ve f f 12 ^ VMDK 组 件 +9 个 副本 组 件 
浮动 桌面 14 4* VMDK 组 件 +9 个 副本 组 件 
专用 桌面 27 个 VMDK 组 件 +9 个 副本 组 件 
专用 桌面 21 个 VMDK 组 件 +9 个 副本 组 件 
专用 桌面 24 个 VMDK 组 件 +9 个 副本 组 件 
Qua 调整 默认 基于 存储 策略 的 管理 改变 了 所 列 组 件数 量 。 
在 测试 配置 中 ， 浮 动 的 链接 克隆 虚拟 机 带 有 一 次 性 磁盘 作为 每 个 桌面 的 组 件 。 因 此 2400 台 虚拟 机 的 池 总 计 拥 有 组 件数 为 : 


2400x14= 33600, 


此 外 ， 有 3 个 对 象 〔( 命 名 空间 、 交 换 和 VMDK) 被 创建 用 于 副本 虚拟 磁盘 。 由 于 FTT = 1， 会 生成 额外 的 9 个 组 件 ， 因 此 一 共 
有 33609 个 组 件 。 


13.5.2 Horizon View 虚 拟 机 配置 原则 


Virtual SAN 的 CPU 和 内 仓 过 载 因素 十 分 重要 。 
表 13-15 所 示 为 主机 尺寸 一 桌面 CPU 要 求 。 


表 13-15 ”主机 尺寸 一 桌面 CPU 要 求 


桌面 性 能 参数 C = ai 
R FE s H ABC LEY CPU 数 ! 
hj f DJ PE n hd FAC OE CPU 利用 率 —— 
vCPU 开销 = 


表 13-16 所 示 为 主机 尺寸 一 CPU 属性 及 具体 参数 。 


#13-16 “主机 尺寸 一 CPU 属性 及 具体 参数 


im 性 具体 参数 


每 台 主 机 的 CPU 数量 2 

每 个 CPU 的 核 数 10 

每 个 CPU 核 的 GHz 3.0GHz 
每 个 CPU 的 总 计 CPU GHz 30GHz 
每 台 主 机 的 总 计 CPU GHz 60GHz 
Virtual SAN CPU 利用 率 10% 
每 台 主 机 的 可 用 CPU GHz 54GHz 
每 台 主 机 的 茧 面 数 140 


Quum 140 是 年 台 主 机 桌面 数 的 最 大 估算 值 。 


推荐 在 vShpere 集 群 中 为 CPU 峰 值 、 主 机 故障 以 及 维护 留 有 一 定 的 性 能 余地 。 主 机 内 存 需求 依赖 各 种 因素 ， 包 括 每 台 虚 拟 桌 
面 的 内 存 分 配 、 虚 拟 桌面 图 形 需 求 、VCPU 内 存 消 耗 、10% 的 Virtual SAN 内 存 消耗 。 


表 13-17 所 示 为 主机 尺寸 一 内 存 及 具体 参数 。 


表 13-17 主机 尺寸 一 内 存 属性 及 有 具体 参数 


属 性 具体 参数 
Virtual SAN 内 存 消耗 10% 
每 台 虚 拟 机 总 的 挂 载 RAM 1536 MB 
虚拟 机 CPU 数 2 
虚拟 机 内 存 预 留 0% 
虚拟 机 分 辨 率 LX [1920 X 1600] 
虚拟 机 视频 内 存 8.79 MB 
3D = 
虚拟 机 内 存 消 耗 63 MB 
每 台 主 机 总 的 挂 载 RAM 248 GB 


13.5.3 ”Block 管 理 单 元 配置 原则 


表 13-18 所 示 为 管理 单元 Block 尺 寸 。 


表 13-18 ”管理 单元 Block 尺寸 


HRPE ihl A | a [| 6 [| 4 ee Server 2008 64-bit R2 
soso | 4 | s | me [| Server 2008 64-bieR2 
vCenter Server | 046€ | mÓ [| oms SUSE Linux Enterprise 11 
View iE PEAR ss | 4 [| m» [| & - Server 2008 64-bit R2 
View Composer |o 04 ee — | 0 — Server 2008 64-bit R2 


表 13-19 展 示 了 管理 Block 在 工作 负载 、 操 作 和 弹性 测试 中 的 峰值 资源 使 用 率 。 


表 13-19 ”管理 峰值 资源 利用 率 


VMware View Composer 1436 
REM T 355. 


13.6 VMware Horizon7 在 全 闪存 架构 Virtual SAN 上 的 性 能 表现 


桌面 虚拟 化 是 目前 企业 用 户 典 型 的 虚拟 化 业务 场景 。VMware Horizon7 是 目前 最 新 发 布 的 桌面 虚拟 化 产品 ， 其 最 新 加 入 的 
Just-In-Time 桌 面部 署 功 能 使 用 即时 克隆 技术 ， 人 允许 管理 员 快 速 克隆 和 部 署 虚 拟 机 ， 进 一 步 提升 了 VDI 虚 拟 桌面 的 部 署 效率 。 


通过 在 全 闪存 架构 Virtual SAN 平 台 上 运行 VD|I 桌 面 业务 ， 用 尸 可 以 通过 去 重 、 压 缩 以 及 纠 删 码 (RAIDS/6) 等 多 项 空间 效 
率 提 高 反 术 有 效 降低 数据 的 存储 空间 开销 ， 进 一 步 降低 业务 运行 的 忌 体 拥有 成 本 。 


本 文通 过 在 Virtual SAN6.2 全 闪存 架构 中 针对 Horizon7 进 行 评估 ， 了 验证 了 全 闪存 架构 Virtual SAN 可 作为 VDI 虚 拟 桌 面 的 理 


13.6.1 Ji ZR 


在 测试 中 ， 我 们 针对 Horizon7 结 合 App Volume2.11 在 即时 克隆 和 链接 克隆 两 种 部 署 情况 下 分 别 进行 了 详细 测试 ， 包 括 局 
用 去 重 、 压 缩 以 及 纠 删 码 等 空间 效率 提高 技术 前 后 的 性 能 变化 ， 存 储 空间 的 提升 效率 以 及 对 扣 面 池 进行 维护 管理 的 时 | 间 对 比 。 


在 测试 期 间 ， 我 们 总 共 使 用 了 12 台 物理 服务 器 ， 其 中 4 台 服 务 器 用 于 构建 4 节点 混合 架构 Virtual SAN 作 为 管理 VDI 虚 拟 桌 面 
的 集群 。 如 图 13-24 所 示 ， 管 理 集群 中 除了 安 濠 Horion 的 管理 套件 外 ， 还 安 沪 了 vRealize operation Manager 等 云 管理 套件 ， 
方便 管理 员 在 大 规模 集群 环节 中 对 虚拟 机 进行 统一 的 监控 与 管理 。 另 外 的 8 台 服 务 器 用 于 构建 8 节点 全 闪存 架构 Virtual SAN, i# 
行 虚拟 昌 面 的 部 署 和 测试 工作 。 虽 然 在 本 次 的 测试 以 构 中 ， 一 个 管理 集群 只 对 应 一 个 桌面 集群 。 但 是 在 实际 真实 环境 中 ， 一 个 管 
理 集 群 可 以 同时 管理 多 个 桌面 集群 ， 以 满足 大 规模 桌面 虚拟 化 的 需求 。 


管理 集群 果 面 集群 
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图 13-24 Horzion X dg Æ 4A. RRR A 


为 了 保证 测试 结果 的 公正 性 ， 我 们 使 用 第 三 方 VDI 性 能 测试 工具 Login VSI4.1 进 行 测试 。Login VSl 是 业界 标准 的 基准 测试 
工具 ， 用 于 测量 集中 提 面 环境 的 性 能 和 可 扩展 性 。Login VsI 在 测试 中 会 逐渐 增加 模拟 用 户 的 数量 ， 直 全 系统 的 性 能 出 现 钨 和 。 
当 系 统 饱和 时 ， 应 用 程序 响应 时 间 的 增加 人 至 天 重要 。 这 一 延迟 意味 着 系统 几乎 临近 过 载 。 我 们 可 以 通过 系统 接近 过 载 来 找 出 系统 
的 最 大 用 户 容量 ， 以 此 评估 整个 VDI 环 境 的 性 能 。 


1. 全 闪存 架构 Virtual SAN 有 具体 配置 


在 测试 中 ， 我 们 部 署 了 两 个 Virtual SAN 集 群 。 由 于 管理 集群 可 以 根据 实际 业务 需求 变动 ， 因 此 我 们 主要 介绍 本 次 部 署 虚拟 
桌面 的 桌面 集群 的 配置 。 桌 面 集群 由 全 闪存 架构 Virtual SAN 组 成 ， 每 台 主 机 都 采用 如 表 13-20 所 示 的 硬件 配置 。 


表 13-20 ESXi 主 机 有 具体 硬件 配置 


B 性 具体 参数 
CPU 2*10 Intel(R) Xeon(R) CPU E5-2690 @ 3.0GHz v2 
内 存 512GB DDR4 
网 络 适 配 需 2*Intel 万 兆 网 卡 
FF fitis Bc ait 2*12Gbps SAS PCI-E 卡 
磁盘 SSD: 2*400GB 固态 硬盘 (Intel SSDSC2BA40 ) 作为 缓存 层 


SSD: 8*400GB 固态 硬盘 (Intel SSDSC2BX40 ) 作为 容量 层 


每 个 Virtual SAN 节 点 由 两 个 磁盘 组 组 成 ， 每 个 磁盘 组 由 一 块 组 分 SSD 和 4 块 容量 SSD 组 成 ， 整 个 Virtual SAN 集 群 的 初始 名 
容量 达到 了 32TB， 其 中 6.4TB 为 缓存 层 容 量 ，25.6TB 为 容量 层 容量 。 


2. 虚 拟 桌 面 镜像 具体 配置 


测试 中 ,我们 使 用 的 虚拟 机 镜像 通过 VMware 优 化 工具 进行 了 专门 优化 。 桌 面 的 操作 系统 及 用 Windows764 位 企业 版 ， 每 
侣 虚拟 梨 面 分 配 了 两 颗 vVCPU 和 2GB 内 人 存 ， 分 配 的 磁盘 大 小 为 30GB (实际 使 用 了 10.6GB) 。 


此 外 ， 我 们 将 Login VSI 性 能 测试 需要 的 应 用 程序 都 部 署 在 一 个 独立 的 Appstack 中 ， 总 计 容 量 为 6536MB。Appstack 是 一 
个 专门 用 于 包装 应 用 程序 的 单元 ， 以 只 读 VM DK 的 形式 进行 存储 。 这 些 应 用 程序 包括 : 
Adobe Flash Player 16 ActiveX, Adobe Reader XI 11.0.10, Doro 1.82, FreeMind, 微软 


Office Professional Plus 201055, 


13.6.2 ”全 闪存 架构 Virtual SAN 性 能 


在 虚拟 桌面 的 性 能 测试 中 ， 我 们 使 用 Login VS14.1 调 用 常见 应 用 程序 来 模拟 泉 面 的 日 常 工作 负载 。 通 剃 情况 下 ，VDI 工 作 负 
载 是 CPU 紧密 型 的 。 从 存储 角度 来 襄 ， 如 果 主 机 的 CPU 规划 得 当 ，Virtual SAN 每 台 主 机 可 以 支持 多 达 200 个 桌面 ， 因 此 在 测试 
空间 效率 提升 以 及 View 昌 面 管理 操作 的 测试 中 我 们 部 署 了 1600 个 虚拟 棵 面 (GEB) 。 但 是 在 Login Vsl 虚 拟 昌 面 性 能 测试 期 
间 ， 我 们 友 现 测试 服务 器 在 具体 工作 负载 下 存在 CPU 尊 贷 。 因 此 ， 我 们 的 关注 点 主要 为 观测 1000 台 梨 面 的 性 能 ，。 


1. 即 时 克隆 桌面 的 性 能 


为 了 评估 即时 克隆 (Instant Clone) 桌面 在 启用 纠 删 码 前 后 的 性 能 差异 ， 我 们 使 用 Login VSI 在 RAID1 与 RAID5 存 储 策略 配 
置 上 分 别 进行 了 性 能 测试 。 通 过 测试 ， 我 们 发 现 VSIMax 知 识 型 员工 工作 负载 并 没有 耗 尽 整个 系统 资源 。 在 1000 个 桌面 的 连接 测 
斌 中， 两 种 配置 都 可 以 通过 基准 测试 要 求 。 即 时 克隆 桌面 在 RAID1 与 RAID5 存 储 策略 下 的 Login VSI 测 试 如 图 13-25 所 示 。 通 过 
测试 ， 我 们 可 以 发 现 Virtual SAN 在 启用 纠 删 码 的 情况 下 ， 相 比 默认 配置 的 性 能 影响 非常 小 (测试 结果 数值 越 小 越 好 ) 。 


1000 个 即时 元 隆 宁 面 的 Login VSI 结 果 
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图 13-25 1000 个 即时 克隆 桌面 在 RAID1 与 RAID5 下 的 Login VSI 测 试 结 
2. 链 接 克 隆 桌 面 的 性 能 


除了 即时 克隆 ， 我 们 在 链接 克隆 (Linked Clone) 扣 面 上 也 进行 了 详尽 的 性 能 测试 。 客 尸 端 缓存 (Client Cache) 是 


Virtual SAN6.2 针 对 VDI 业 务 场景 在 存储 缓存 功能 上 做 得 进一步 优化 ， 其 在 主机 后 台 的 内 存 中 额外 添加 了 读 取 绥 存 。 这 部 分 读 取 
缓存 只 占用 主机 内 存 容量 的 0.4% (最 大 不 超过 1GB) ， 但 在 性 能 上 却 可 以 给 VDI 市 来 巨大 提升 。 该 功能 在 Virtual SAN6.2 下 局 
用 ， 为 了 验证 客户 端 缓 企 对 VDI 业 务 场 景 的 性 能 提高 ， 我 们 分 别 使 用 Login VSI 在 客户 端 缓存 禁用 前 后 进行 测试 ， 并 以 Virtual 
SAN 在 默认 存储 策略 下 的 测试 结果 为 基准 进行 对 比 。 

如 图 13-26 所 示 ， 通 过 测试 我 们 发 现 启 用 客户 端 缓存 可 以 显著 改善 VDI 桌 面 的 性 能 (测试 结果 数值 越 小 越 好 ) 。 通 过 分 析 
VSIMax 评 分 ， 我 们 友 现 Virtual SAN 的 空间 效率 提高 技术 在 提升 链接 克隆 桌面 存储 效率 的 同时 ， 对 桌面 的 性 能 影响 很 小 。 


13.6.3 ”启用 去 重 /压缩 和 纠 删 码 (RAIDS) 以 及 稀 玻 交换 文件 对 存储 空间 的 节省 


在 启用 去 重 /压缩 和 纠 删 码 后 ， 我 们 测试 了 全 闪存 架构 Virtual SAN 中 进行 VDI 桌 面 池 部 署 的 空间 节省 情况 。 去 重 /压缩 技术 
会 以 每 个 磁盘 组 为 单位 进行 去 重 和 压缩 操作 ， 该 技术 会 对 各 种 不 同 的 数据 类 型 进行 去 重 。 而 纠 删 码 则 可 以 在 不 降低 数据 可 用 性 的 
前 提 下 节省 存储 空间 。 
1000 台 链接 克隆 果 面 的 Login VSI 测 试 结果 
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图 13-26 ”1000 台 链接 克隆 桌面 的 Login VSI 测 试 结 


为 了 最 大 程度 发 挥 Virtual SAN 对 VDI 桌 面 的 性 能 ， 我 们 在 主机 的 高 级 主机 设置 选项 中 启用 “Swap Thick Provision 
Disabled” FATS Virtual SAN 的 稀 鸣 交换 文件 功能 ， 以 进一步 优化 链接 克隆 桌面 池 和 即时 克隆 桌面 池 的 空间 节省 。 由 于 虚拟 交 
换文 件 的 容量 等 于 分 配 的 内 存 空 间 减 去 预 留 内 存 空间 ， 因 此 在 大 规模 部 署 虚 机 的 情况 下 ， 这 种 额外 空间 开销 会 非常 大 。 


通过 局 用 稀 巩 交换 文件 功能 ， 交 换文 件 会 以 精简 配置 的 模式 进行 部 署 。 也 融 是 况 ， 虚 拟 交 换文 件 只 有 在 真正 使 用 交换 文件 时 
才 会 分 配 磁盘 空间 (当然 ,我 们 只 在 内 存 空间 足够 的 情况 下 推荐 此 功能 ) . 


如 前 文 所 述 ， 我 们 配置 的 虚拟 扣 面 模板 配置 了 30GB 大 小 的 磁盘 空间 。 在 虚拟 机 默认 存储 策略 下 ， 部 署 1600 个 链接 克隆 朱 面 
需要 13.47TB 的 存储 容量 。 在 局 用 去 重 /压缩 功能 并 将 虚拟 机 存储 策略 改 为 RAID5 后 ，1600 个 桌面 使 用 的 存储 空间 下 降 到 了 
7.94TB， 去 重 / 压 缩 比 率 大 约 在 1.91 倍 。 由 于 我 们 的 服务 器 拥有 殉 足 的 内 存 空间 ， 因 此 在 天 闭 所 有 桌面 并 局 用 稀 巩 交换 文件 功能 
后 ， 我 们 重新 局 动 虚拟 提 面 ，1600 个 链接 克隆 昌 面 的 存储 空间 消耗 下 降 到 1.81TB， 对 应 的 去 重 /压缩 比率 大 幅 提 高 到 11.6 倍 。 


38e Jt] BOAT ve Bee Se rn Jes FH ZH An CFR ASA Cr fins [8] AET SUIT. $OE]13-28B rn, Virtual 
SANSA TAM LH RES P (RAIDT) BARMI RAN ES HI LAS 1600 5 BDRJ ve semi 6.297 BAFE. Moa 
删 码 的 RAID5 和 存储 策略 后 相 比 默认 策略 书 省 了 0.68TB 的 存储 空间 。 
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图 13-28 1600 台 即时 克隆 桌面 的 空间 占用 


13.6.4 Horizon View 桌 面 池 管 理 测试 


除了 对 VDI 进 行 虚 拟 泉 面 性 能 和 存储 空间 效率 测试 ， 我 们 还 通过 对 Horizon View 进 行 操作 测试 来 评估 Virtual SAN6.2 引 入 的 
空 司 效率 提高 扩 林 对 桌面 池 管 理 可 能 产生 的 影响 。 


Horizon7 引 入 的 即时 克隆 技术 大 幅度 加 速 了 虚拟 昌 面 的 部 署 和 定制 。 管 理 员 人 在 RAID1 和 RAID5 配 置 下 分 别 只 需要 化 费 37 分 
钟 和 36 分 钟 融 可 以 完整 部 署 1600 个 果 面 。 此 外 ， 即 时 克隆 梨 面 不 需要 管理 员 进 行 刷新 、 重 建 等 操作 。 当 用 户 登 出 梨 面 后 ， 该 提 
会 被 立即 删除 并 重新 创建 一 个 全 新 的 镜像 介面 。 这 一 过 程 避 免 了 传统 VDI 桌 面 池 经 常 遇 到 的 局 动 风 暴 问 题 。 如 图 13-29 所 示 ， 
更 新 1600 个 桌面 的 镜像 在 RAID1 和 RAID5 配 置 下 分 别 只 需要 38 分 钟 和 39 分 钟 。 


1600 台 即时 元 隆 果 面 的 View 操 作 测 试 
50 


40 


Ww 
© 


执行 时 间 (分 钟 ) 





B 初始 化 国 部 署 


图 13-29 1600 台 即时 克隆 桌面 的 View 操 作 测 试 


对 于 链接 克隆 的 操作 ， 我 们 友 现 在 启用 Virtual SAN6.2 的 空 闪 效率 提高 技术 后 ， 进 行 部 署 、 更 新 、 重 建 等 操作 的 执行 时 间 会 
相对 稍 长 一 些 ， 但 是 这 一 操作 可 以 节省 大 量 的 人 存储 空间 。 因 此 ， 我 们 认为 对 于 链接 克隆 梨 面 来 况 ， 在 操作 时 间 上 人 花费 一 些 损耗 是 
值得 的 。 
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图 13-30 1600 台 链接 克隆 昌 面 的 View 操 作 测 试 
13.6.5 总结 


通过 测试 ， 我 们 验证 了 Horiozn7 与 App volume2.11 在 全 闪存 架构 Virtual SAN 中 的 出 色 性 能 。Horizon7 的 即时 克隆 和 链接 
克隆 在 知识 型 员工 工作 负载 下 都 可 以 达到 120 个 以 上 的 单 节点 虚拟 机 密度 。 这 意味 着 Virtual SAN6.2 在 启用 所 有 空间 效率 提高 技 
术 的 情况 下 依然 可 以 向 业务 提供 高 性 能 。 


Virtual SAN6.2 对 最 新 的 全 闪存 存储 进行 了 优化 ， 加 入 了 高 效 的 去 重 、 压 缩 和 纠 删 码 功 能 ， 进 一 步 降低 了 用 尸 的 轧 体 拥有 成 
AX (TCO) ,并且 对 性 能 的 影响 微乎其微 。 因 此 ， 我 们 推荐 用 户 将 VDI 虚 拟 桌 面 运行 在 Virtual SAN 人 存储 平台 上 。 


13.7 ”本 童 小 结 


全 面 的 工作 负载 、 操 作 和 弹性 测试 展示 了 Horizon View 在 Virtual SAN 所 拥有 的 高 性 能 、 绝 佳 终端 用 户 体验 和 稳健 的 系统 弹 
性 。Virtual SAN 可 以 基于 VDI 用 户 数 量 进行 横向 拓展 ， 保 持 CapEx 低 成 本 ， 消 除 传统 存储 阵列 需要 的 大 量 前 期 投资 。 


企业 级 应 用 在 用 户 的 核心 业务 中 起 到 关键 作用 ， 如 何人 在 满足 天 键 业 务 对 服务 器 、 人 存储、 网 络 的 需求 前 提 下 ， 提 高 管理 效率 、 
生产 力 和 投入 产 出 比 ， 一 直 是 企业 退 求 的 目标 。 


Virtual SAN 是 基于 软件 定义 存储 的 解决 方案 。 通 过 部 署 Virtual SAN, HE PRIA, (EA ESER. KOMT 
源 调配 。Virtual SAN 人 允许 客户 灵活 地 选择 基于 x86 的 服务 器 和 了 网络 ， 以 满足 关键 应 用 如 企业 级 桌面 应 用 Horizon View， 企 业 级 
邮箱 服务 Exchange， 企 业 级 数据 库 应 用 Oracle 和 SQL Server 对 存储 的 需求 。 通 过 在 Virtual SAN 中 部 署 企业 级 关键 应 用 ， 用 户 
可 以 实现 更 快 、 更 轻松 地 进行 部 署 ， 实 现 高 效 简便 并 且 高 性 价 比 的 备份 方案 和 灾 备 方案 ， 并 可 以 通过 横向 增加 x86 服 务 器 数量 ， 
或 者 在 服务 器 中 增加 磁盘 组 提供 高 扩展 性 。Virtual SAN 本 身 具有 的 高 可 用 和 弹性 应 对 故障 特性 也 能 保证 关键 应 用 不 中 断 运 行 。 


Virtual SAN 延 伸 集 群 是 为 实现 双 活 数据 中 心 而 设计 的 。 双 活 数据 中 心 文 持 用 户 所 有 的 业务 系统 同时 企 两 个 数据 中 心 运行 ， 
同时 为 用 户 提供 服务 ， 当 某 个 数据 中 心 的 应 用 系统 出 现 问题 时 ， 由 另 一 个 数据 中 心 的 应 用 来 持续 地 提供 服务 。 在 最 佳 实 践 中 ， 通 
过 运行 关键 业务 如 OLTP 的 Oracle RAC 服 务 器 集群 以 及 OLTP 的 SQL Server 数 据 库 高 可 用 组 集群 验证 了 在 Virtual SAN 延 伸 集 群 上 
的 性 能 ， 以 及 针对 站 点 故障 情况 下 不 中 断 应 用 的 特性 ， 有 效 证 明了 Virtual SAN 延 伸 集 群 的 高 可 用 性 和 双 活 特性 。 与 此 同时 ， 结 
&VMware SRM 和 vSphere Replication ， 或 者 结合 应 用 复制 如 Oracle Data Guard， 帮 助 客户 建立 可 靠 的 主 数据 中 心 和 灾 备 数 
据 中 心 。 


我 们 有 理由 相信 ， 通 过 一 系列 企业 应 用 在 Virtual SAN 上 的 部 署 和 验证 ， 赵 来 越 多 的 企业 会 接受 并 采用 Virtual SAN 这 样 的 软 
件 定 义 超 融合 解决 方案 来 部 署 其 核心 应 用 。 


WR SAnS 


1.Virtual SAN RVC 详 细 使 用 文档 : http://www.vmware.com/files/cn/pdf/products/vsan/VMware-Ruby-vSphere- 


Console-Command-Reference-For-Virtual-SAN.pdf 


2. Virtual SAN 设 计 和 规模 设 定 指南 : http://www.vmware.com/files/cn/pdf/products/vsan/virtual-san-6.2-design- 
and-sizing-guide.pdf 


3.Virtual SAN 硬 件 兼 容 性 指南 : http:;//www.vmware.com/resources/compatibility/search.php?deviceCategory = 


vsan 


4.Virtual SAN 延 伸 集 群 指南 : http://www.vmware.com/files/cn/pdf/products/vsan/VMware-Virtual-SAN-6.2- 
Stretched-Cluster-Guide.pdf 


5.Virtual SAN 概 念 证 明 指 南 : http://www.vmware.com/files/cn/pdf/products/vsan/vmware-virtual-san6.1-proof- 
of-concept-guide.pdf 


6.Virtual SAN6.2 新 功能 特 
ME: http://www.vmware.com/files/cn/pdf/products/vsan/VMware Virtual SAN Whats New.pdf 


7. Virtual SAN 性 能 和 可 扩展 性 : http://www.vmware.com/files/cn/pdf/products/vsan/V Mware-Virtual-San6- 
Scalability-Performance-Paper.pdf 


8.Virtual SAN 运 行 状况 检查 措 丙 : http://www.vmware.com/files/cn/pdf/products/vsan/VM-ware-Virtual-SAN- 
Health-Check-Guide-6.1.pdf 


9. Virtual SAN 故 障 排除 参考 手册 : http://www.vmware.com/files/cn/pdf/products/vsan/VSAN-Troubleshooting- 


Reference-Manual.pdf 


10.vSphere Upgrade 官 方 文档 : http://pubs.vmware.com/vsphere-60/topic/com.vmware.|Cbase/PDF/vsphere-esxi- 
vcenter-server-602-upgrade-guide.pdf 


